15.1 神经网络与深度学习

从本章起,我们就要开始接触令人兴奋的深度学习算法了。我们在第14章中初步介绍了神经网络的基本知识,神经网络由输入层、隐藏层和输出层组成,如果隐藏层只有一层,就是最简单的单层神经网络,如图15-1所示。

图15-1 单层神经网络

如果隐藏层具有多层,就是多层感知机,如图15-2所示。深度学习就是多层感知机的一种。

狭义的多层感知机,要求必须是全连接的,所谓全连接,就是每个隐藏层的任何一个节点,都与下一层隐藏层的全部节点连接,如图15-3所示。

图15-2 多层感知机

非全连接神经网络如图15-4所示。

图15-3 全连接的神经网络

图15-4 非全连接的神经网络

深度神经网络(Deep Neural Network,DNN)就是一种全连接的多层感知机。常见的深度学习包括DNN、卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)。