最新公告
  • 欢迎您光临欧资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 第一篇神经网络是如何实现的(二)计算机系:神经元与神经网络

    第一个神经网络是如何实现的(二)

    马少平神经网络c语言实现下,清华大学计算机系

    第 2 节:神经元和神经网络

    自从听了艾博士以数字识别为例讲解神经网络后神经网络c语言实现下,小明就一直在思考如何训练神经网络。这天,小明又来找艾博士,问他怎么训练神经网络。

    艾医生见到小明很开心,问小明上次说的都听懂了吗。小明说他有一个基本的了解,但他仍然不知道神经网络是怎么训练出来的。今天,我想请艾医生谈谈这个。

    艾医生说:小明,你别着急。我上次说的只是为了让你了解神经元和神经网络都是什么。因此,上一次提到的网络结构比较特殊,并不笼统。比如我们前面提到的权重都是1或者-1。这是一个非常特殊的情况。事实上,权重可以是任何值,可以是正数、负数或小数。权重的大小可以反映图案在不同位置的重要性。例如,权重可能在笔划的中心较大,而在边缘较小。上次已经说过,这些权重不是手动设置的,而是从示例中学习的。

    那么神经网络是如何学习的呢?在说这个问题之前,我们先对神经元和神经网络做一个大概的描述,这样更方便我们解释如何训练神经网络。

    首先需要强调的是,这里所说的神经元和神经网络是指人工神经元和人工神经网络。为了简单起见,我们经常省略“人工”这个词。

    图1.7 神经元示意图

    那么什么是神经元?图 1.7 显示了一个神经元,它有

    ,

    ,

    ,

    一共n个输入,每个输入对应一个权重

    ,

    ,

    ,

    ,一个神经元也有一个偏置b,每个输入乘以对应的权重并求和,再加上偏置b,我们用net表示:

    将另一个函数 g 应用于网络以获得神经元的输出 o:

    这是神经元的一般描述。为了更方便地描述神经元,我们引入

    , 然后让

    , 那么 net 也可以表示为:

    艾博士指着上面的公式对小明说:小明,你看,上面公式中的求和符号和上一个公式中的求和符号有什么区别吗?

    比较两个表达式后,小明回答:后一个表达式的起始下标从 1 变成了 0,因为我们用了

    表示 b,并且

    =1,所以原公式中的b可以去掉。这看起来更简洁。

    艾博士说:小明总结的很准确,这些都是为了简单。可以更简单。

    小明莫名其妙的问:能不能说的简单点?我想不出来。

    艾博士说,这就是引入向量概念的地方。小明,你看,我们可以输入n

    使用向量

    表达:

    神经网络算法与c语言_神经网络c语言实现下_bp神经网络的预测r语言实现

    ,类似地,权重也可以表示为向量:

    ,因此 net 可以表示为两个向量的点积:

    向量的点积是两个向量对应元素的乘积,然后是和。神经元的输出 o 可以表示为:

    小明,你看,这样表达是不是比较简单?

    小明高兴地拍了拍手:用矢量来表达确实比较容易,但是这个g是什么意思呢?

    艾博士对小明说:这里的g叫做激活函数。还记得我们之前讲的 sigmoid 函数吗?sigmoid 函数是一个激活函数。除了sigmoid函数,激活函数还可以有其他形式。以下是常用的:

    (1) 符号函数:

    其图形为:

    (2)sigmoid 函数

    其图形为:

    (3)双曲正切函数

    其图形为:

    (4)线性整流函数

    其图形如下:

    听完艾医生的讲解,小明对神经元有了更深的了解,感叹道:原来神经元的变化竟然这么多。

    艾医生继续小明的话:是的。多个神经元连接在一起形成一个神经网络。图1.8 显示了一个神经网络的示意图。

    在这个神经网络中,有一个输入层和一个输出层,中间有三个隐藏层,每个连接都有一个权重。

    小明看着图片问艾博士:这个神经网络和你之前提到的数字识别神经网络一样吗?

    艾博士说:原理完全一样。假设这是一个经过训练的识别动物的神经网络,并假设第一个输出代表一只狗,第二个输出代表一只猫……,当输入动物图像时,如果第一个输出接近 1,另一个输出接近如果接近0,则将动物图像识别为狗;如果第二个输出接近 1,其他输出接近 0,则该动物被识别为猫。至于哪个输出代表什么,是人预先指定的。这样的网络可以识别动物、花卉和人。可以识别哪些数据可以用于训练,网络结构变化不大。

    图1.8 神经网络图

    介绍到这里,艾博士问小明:小明,你看,这个网络在神经元的连接上有什么特点?

    小明看着图片想了想,说:艾医生,我看到相邻两层的神经元之间是有联系的。这是一个功能吗?

    艾医生高兴地说:小明说的很对。这是这类神经网络的特点。由于相邻神经元之间存在连接,我们称这种类型的神经网络为全连接神经网络。同时在计算时是从输入层到输出层计算的,所以也称为前馈神经网络。还有对应全连接神经网络的非全连接神经网络,以及对应前馈神经网络的其他形式的神经网络,我们后面会介绍。

    小明读书笔记

    一个神经元有n个输入,每个输入对应一个权重,输入和权重的加权和通过一个激活函数得到神经元的输出。

    激活函数有很多种,常用的有符号函数、sigmoid函数、双曲正切函数、线性整流函数等。

    前馈神经网络,也称为全连接神经网络,其特点是连接只发生在相邻的两层神经元之间,而上一层的神经元和下一层的神经元之间,都有连接,这也是全连接神经网络的名称由此而来。由于全连接神经网络从输入层开始,逐层连接到输出层,因此也称为前馈神经网络。

    待续

    站内大部分资源收集于网络,若侵犯了您的合法权益,请联系我们删除!
    欧资源网 » 第一篇神经网络是如何实现的(二)计算机系:神经元与神经网络

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    欧资源网
    一个高级程序员模板开发平台

    发表评论