第一篇神经网络是如何实现的（二）计算机系：神经元与神经网络

第一个神经网络是如何实现的（二）

马少平神经网络c语言实现下，清华大学计算机系

第 2 节：神经元和神经网络

自从听了艾博士以数字识别为例讲解神经网络后神经网络c语言实现下，小明就一直在思考如何训练神经网络。这天，小明又来找艾博士，问他怎么训练神经网络。

艾医生见到小明很开心，问小明上次说的都听懂了吗。小明说他有一个基本的了解，但他仍然不知道神经网络是怎么训练出来的。今天，我想请艾医生谈谈这个。

艾医生说：小明，你别着急。我上次说的只是为了让你了解神经元和神经网络都是什么。因此，上一次提到的网络结构比较特殊，并不笼统。比如我们前面提到的权重都是1或者-1。这是一个非常特殊的情况。事实上，权重可以是任何值，可以是正数、负数或小数。权重的大小可以反映图案在不同位置的重要性。例如，权重可能在笔划的中心较大，而在边缘较小。上次已经说过，这些权重不是手动设置的，而是从示例中学习的。

那么神经网络是如何学习的呢？在说这个问题之前，我们先对神经元和神经网络做一个大概的描述，这样更方便我们解释如何训练神经网络。

首先需要强调的是，这里所说的神经元和神经网络是指人工神经元和人工神经网络。为了简单起见，我们经常省略“人工”这个词。

图1.7 神经元示意图

那么什么是神经元？图 1.7 显示了一个神经元，它有

,

,

,

一共n个输入，每个输入对应一个权重

,

,

,

，一个神经元也有一个偏置b，每个输入乘以对应的权重并求和，再加上偏置b，我们用net表示：

将另一个函数 g 应用于网络以获得神经元的输出 o：

这是神经元的一般描述。为了更方便地描述神经元，我们引入

， 然后让

, 那么 net 也可以表示为：

艾博士指着上面的公式对小明说：小明，你看，上面公式中的求和符号和上一个公式中的求和符号有什么区别吗？

比较两个表达式后，小明回答：后一个表达式的起始下标从 1 变成了 0，因为我们用了

表示 b，并且

=1，所以原公式中的b可以去掉。这看起来更简洁。

艾博士说：小明总结的很准确，这些都是为了简单。可以更简单。

小明莫名其妙的问：能不能说的简单点？我想不出来。

艾博士说，这就是引入向量概念的地方。小明，你看，我们可以输入n

使用向量

表达：

，类似地，权重也可以表示为向量：

，因此 net 可以表示为两个向量的点积：

向量的点积是两个向量对应元素的乘积，然后是和。神经元的输出 o 可以表示为：

小明，你看，这样表达是不是比较简单？

小明高兴地拍了拍手：用矢量来表达确实比较容易，但是这个g是什么意思呢？

艾博士对小明说：这里的g叫做激活函数。还记得我们之前讲的 sigmoid 函数吗？sigmoid 函数是一个激活函数。除了sigmoid函数，激活函数还可以有其他形式。以下是常用的：

(1） 符号函数：

其图形为：

(2）sigmoid 函数

其图形为：

(3）双曲正切函数

其图形为：

(4）线性整流函数

其图形如下：

听完艾医生的讲解，小明对神经元有了更深的了解，感叹道：原来神经元的变化竟然这么多。

艾医生继续小明的话：是的。多个神经元连接在一起形成一个神经网络。图1.8 显示了一个神经网络的示意图。

在这个神经网络中，有一个输入层和一个输出层，中间有三个隐藏层，每个连接都有一个权重。

小明看着图片问艾博士：这个神经网络和你之前提到的数字识别神经网络一样吗？

艾博士说：原理完全一样。假设这是一个经过训练的识别动物的神经网络，并假设第一个输出代表一只狗，第二个输出代表一只猫……，当输入动物图像时，如果第一个输出接近 1，另一个输出接近如果接近0，则将动物图像识别为狗；如果第二个输出接近 1，其他输出接近 0，则该动物被识别为猫。至于哪个输出代表什么，是人预先指定的。这样的网络可以识别动物、花卉和人。可以识别哪些数据可以用于训练，网络结构变化不大。

图1.8 神经网络图

介绍到这里，艾博士问小明：小明，你看，这个网络在神经元的连接上有什么特点？

小明看着图片想了想，说：艾医生，我看到相邻两层的神经元之间是有联系的。这是一个功能吗？

艾医生高兴地说：小明说的很对。这是这类神经网络的特点。由于相邻神经元之间存在连接，我们称这种类型的神经网络为全连接神经网络。同时在计算时是从输入层到输出层计算的，所以也称为前馈神经网络。还有对应全连接神经网络的非全连接神经网络，以及对应前馈神经网络的其他形式的神经网络，我们后面会介绍。

小明读书笔记

一个神经元有n个输入，每个输入对应一个权重，输入和权重的加权和通过一个激活函数得到神经元的输出。

激活函数有很多种，常用的有符号函数、sigmoid函数、双曲正切函数、线性整流函数等。

前馈神经网络，也称为全连接神经网络，其特点是连接只发生在相邻的两层神经元之间，而上一层的神经元和下一层的神经元之间，都有连接，这也是全连接神经网络的名称由此而来。由于全连接神经网络从输入层开始，逐层连接到输出层，因此也称为前馈神经网络。

待续