作者：（日）涌井良幸、涌井贞美
出版社：人民邮电出版社有限公司
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
深度学习的数学试读：
前言
近年来，我们在媒体上到处可见人工智能（AI）这个词，而深度学习是人工智能的一种实现方法。下面我们就来简单地看一下深度学习具有怎样划时代的意义。
下面是三张花的图片，它们都具有同一个名字，那究竟是什么呢？
答案是玫瑰。虽然大小和形状都不一样，但这些的确都是玫瑰花的图片。看到玫瑰花的图片，我们理所当然就能辨别出“这是玫瑰花”。
在计算机和数学的世界中，这个玫瑰花的例子属于模式识别问题。人类每天都在进行着模式识别。比如，我们在逛街的时候就会无意识地进行着物体的辨别：“那是电影院”“信号灯是红灯”，等等。换言之，这就是在进行模式识别。
然而，像这样的人类认为很自然的事情，一旦想让机器来做，就变得非常困难。例如，现在让你编写一个模式识别的计算机程序，使其从大量花的图片中单独提取出玫瑰花的图片，你可能就束手无策了。
实际上，关于模式识别的理论创建一直在碰壁。例如，对于玫瑰花的模式识别，以前的逻辑是将“玫瑰是具有这样特征的东西”教给机器，然而效果甚微。因为玫瑰花的形状实在是太多了，即使是相同品种的玫瑰花，其颜色和形状每时每刻也都在发生变化，不同品种的玫瑰花则会有更大的差异。要从如此多样的特征之中得出“玫瑰”这样一个概念，的确是太难了。
后来，一种被称为神经网络的数学方法被研究出来。具体来说，就是将模拟动物的神经细胞的神经元聚集起来形成网络，然后让这个网络去观察大量的玫瑰花的图片，进行“自学习”。相比之前的模式识别逻辑，该方法取得了很大的成功。特别是利用称为卷积神经网络的多层结构的神经网络，甚至可以从图片和视频中识别出人和猫。深度学习就是用具有这种结构的神经网络实现的人工智能。
虽然“自学习”听起来很难，但神经网络运用的数学理论是非常简单的，基本上是比较基础的数学知识。然而，很多文献大量使用公式和专业术语，令人难以看透神经网络的本质，这对于今后人工智能的发展是莫大的不幸和障碍。本书作为人工智能的入门书，目的就是要破除这种障碍，让所有人都能够体会到神经网络的趣味性。本书的目标是用初级的数学知识详细地讲解深度学习的思想。
只要从本质上理解了基础知识，就可以在应用中大展身手。但愿本书能够对 21 世纪人工智能的发展有所贡献。
最后，本书从策划到最终出版，得到了技术评论社渡边悦司先生的大力支持，我们借此向他表达深深的谢意。
2017 年春笔者本书的使用说明● 本书的目的在于提供理解神经网络所需的数学基础知识。为了便
于读者直观地理解，书中使用大量图片，并通过具体示例来介绍。
因此，本书将数学的严谨性放在第二位。● 深度学习的世界是丰富多彩的，本书主要考虑阶层型神经网络和
卷积神经网络在图像识别中的应用。● 本书将 Sigmoid 函数作为激活函数，除此之外也可以考虑其他函
数。● 本书以最小二乘法作为数学上的最优化的基础，除此之外也可以
考虑其他方法。● 神经网络可分为有监督学习和无监督学习两类。本书主要讲解有
监督学习。● 人工智能相关的文献之所以难读，其中一个原因就是各文献所用
的符号不统一。本书采用的是相关文献中常用的符号。● 本书使用 Excel 进行理论验证。Excel 是一个非常优秀的工具，
能够在工作表上可视化地展现逻辑，有助于我们理解。因此，相
应的项目需要以 Excel 的基础知识为前提。Excel 示例文件的下载
本书中使用的 Excel 示例文件可以从以下网址下载。
http://www.ituring.com.cn/book/2593● 示例文件的内容章文件名概要节2-12-11 梯度下降1 通过简单的例子确认梯度下降法的原理法.xlsx节3-5 3-5 NN（求解不使用误差反向传播法，直接使用 节器）.xlsxExcel 执行最优化，确定神经网络4-4 4-4 NN（误差反使用误差反向传播法确定神经网络节向传播法）.xlsx5-4 5-4 CNN（求解不使用误差反向传播法，直接使用 节器）.xlsxExcel 执行最优化，确定卷积神经网络5-6 CNN（误差5-6 使用误差反向传播法确定卷积神经网络反向传播法）.节xlsx附附录 A.xlsx第 4 章例题的图像数据录 A附附录 B.xlsx第 5 章例题的图像数据录 B注意● 本书基于Excel 2013执笔，不保证示例文件可在其他版本上正常运行。● 示例文件的内容可能会变更。● 读者可以随意变更或改良示例文件的内容，但我们不提供支持。第 1 章 神经网络的思想
在人工智能领域，神经网络（Neural Network，NN）是近年来的热门话题，由此发展而来的深度学习更是每天都被经济和社会新闻提及。本章将概述神经网络是什么，以及数学是怎样参与其中的。为了帮助大家直观地理解，书中的类比或多或少有些粗糙，不当之处还请见谅。1-1 神经网络和深度学习
深度学习是人工智能的一种具有代表性的实现方法，下面就让我们来考察一下它究竟是什么样的技术。备受瞩目的深度学习
在有关深度学习的热门话题中，有几个被媒体大肆报道的事件，如下表所示。年份事件在世界性的图像识别大赛ILSVRC中，使用深度学2012 年习技术的Supervision方法取得了完胜利用谷歌公司开发的深度学习技术，人工智能从 2012 年YouTube 的视频中识别出了猫苹果公司将Siri 的语音识别系统变更为使用深度2014 年学习技术的系统利用谷歌公司开发的深度学习技术，AlphaGo 与2016 年世界顶级棋手对决，取得了胜利奥迪、宝马等公司将深度学习技术运用到汽车的2016 年自动驾驶中
如上表所示，深度学习在人工智能领域取得了很大的成功。那么，深度学习究竟是什么技术呢？深度学习里的“深度”是什么意思呢？为了解答这个疑问，首先我们来考察一下神经网络，这是因为深度学习是以神经网络为出发点的。神经网络
谈到神经网络的想法，需要从生物学上的神经元（ neuron）开始说起。
从生物学的扎实的研究成果中，我们可以得到以下关于构成大脑的神经元的知识（1-2 节）。
(i) 神经元形成网络。
(ii) 对于从其他多个神经元传递过来的信号，如果它们的和不超过某个固定大小的值（阈值），则神经元不做出任何反应。
(iii) 对于从其他多个神经元传递过来的信号，如果它们的和超过某个固定大小的值（阈值），则神经元做出反应（称为点火），向另外的神经元传递固定强度的信号。
(iv) 在 (ii) 和 (iii) 中，从多个神经元传递过来的信号之和中，每个信号对应的权重不一样。
将神经元的工作在数学上抽象化，并以其为单位人工地形成网络，这样的人工网络就是神经网络。将构成大脑的神经元的集合体抽象为数学模型，这就是神经网络的出发点。用神经网络实现的人工智能
看过以往的科幻电影、动画片就知道，人工智能是人们很早就有的想法。那么，早期研究的人工智能和用神经网络实现的人工智能有哪些不同呢？答案就是用神经网络实现的人工智能能够自己学习过去的数据。
以往的人工智能需要人们事先将各种各样的知识教给机器，这在工业机器人等方面取得了很大成功。
而对于用神经网络实现的人工智能，人们只需要简单地提供数据即可。神经网络接收数据后，会从网络的关系中自己学习并理解。“人教导机器”类型的人工智能的问题
20 世纪的“人教导机器”类型的人工智能，现在仍然活跃在各种领域，然而也有一些领域是它不能胜任的，其中之一就是模式识别。让我们来看一个简单的例子。例题 有一个用 8×8 像素读取的手写数字的图像，考
虑如何让计算机判断图像中的数字是否为 0。
读取的手写数字的图像如下图所示。
这些图像虽然大小和形状各异，但都可以认为正解是数字 0。可是，如何将这些图像中的数字是 0 这个事实教给计算机呢？
要用计算机进行处理，就需要用数学式来表示。然而，像例题这样的情况，如果使用 20 世纪的常规手段，将“0 具有这样的形状”教给计算机，处理起来会十分困难。况且，如下所示，对于写得很难看的字、读取时受到噪声影响的字，虽然人能够设法辨认出来是 0，但要将这种辨认的条件用数学式表达，并教给计算机，应该是无法做到的。
从这个简单的例题中可以看出，“人教导机器”类型的人工智能无法胜任图像、语音的模式识别，因为要把所有东西都教给计算机是不现实的。
不过，在 20 世纪后期，对于这样的问题，人们找到了简单的解决方法，那就是神经网络以及由其发展而来的深度学习。如前所述，具体来说就是由人提供数据，然后由神经网络自己进行学习。
如此看来，神经网络似乎有一些不可思议的逻辑。然而，从数学上来说，其原理十分容易。本书的目的就是阐明它的原理。1-2 神经元工作的数学表示
就像我们在 1-1 节看到的那样，神经网络是以从神经元抽象出来的数学模型为出发点的。下面，我们将更详细地考察神经元的工作，并将其在数学上抽象化。整理神经元的工作
人的大脑是由多个神经元互相连接形成网络而构成的。也就是说，一个神经元从其他神经元接收信号，也向其他神经元发出信号。大脑就是根据这个网络上的信号的流动来处理各种各样的信息的。
让我们来更详细地看一下神经元传递信息的结构。如上图所示，神经元是由细胞体、树突、轴突三个主要部分构成的。其他神经元的信号（输入信号）通过树突传递到细胞体（也就是神经元本体）中，细胞体把从其他多个神经元传递进来的输入信号进行合并加工，然后再通过轴突前端的突触传递给别的神经元。
那么，神经元究竟是怎样对输入信号进行合并加工的呢？让我们来看看它的构造。
假设一个神经元从其他多个神经元接收了输入信号，这时如果所接收的信号之和比较小，没有超过这个神经元固有的边界值（称为阈值），这个神经元的细胞体就会忽略接收到的信号，不做任何反应。注：对于生命来说，神经元忽略微小的输入信号，这是十分重要的。反之，如果神经元对于任何微小的信号都变得兴奋，神经系统就将“情绪不稳定”。
不过，如果输入信号之和超过神经元固有的边界值（也就是阈值），细胞体就会做出反应，向与轴突连接的其他神经元传递信号，这称为点火。
那么，点火时神经元的输出信号是什么样的呢？有趣的是，信号的大小是固定的。即便从邻近的神经元接收到很大的刺激，或者轴突连接着其他多个神经元，这个神经元也只输出固定大小的信号。点火的输出信号是由 0 或 1 表示的数字信息。神经元工作的数学表示
让我们整理一下已经考察过的神经元点火的结构。
(i) 来自其他多个神经元的信号之和成为神经元的输入。
(ii) 如果这个信号之和超过神经元固有的阈值，则点火。
(iii) 神经元的输出信号可以用数字信号 0 和 1 来表示。即使有多个输出端，其值也是同一个。
下面让我们用数学方式表示神经元点火的结构。
首先，我们用数学式表示输入信号。由于输入信号是来自相邻神经元的输出信号，所以根据 (iii)，输入信号也可以用“有”“无”两种信息表示。因此，用变量表示输入信号时，如下所示。注：与视细胞直接连接的神经元等个别神经元并不一定如此，因为视细胞的输入是模拟信号。
接下来，我们用数学式表示输出信号。根据 (iii)，输出信号可以用表示点火与否的“有”“无”两种信息来表示。因此，用变量表示输出信号时，如下所示。
最后，我们用数学方式来表示点火的判定条件。
从 (i) 和 (ii) 可知，神经元点火与否是根据来自其他神经元的输入信号的和来判定的，但这个求和的方式应该不是简单的求和。例如在网球比赛中，对于来自视觉神经的信号和来自听觉神经的信号，大脑是通过改变权重来处理的。因此，神经元的输入信号应该是考虑了权重的信号之和。用数学语言来表示的话，例如，来自相邻神经元 1、2、3 的输入信号分别为、、，则神经元的输入信号之和可以如下表示。
式中的、、是输入信号、、对应的权重（weight）。
根据 (ii)，神经元在信号之和超过阈值时点火，不超过阈值时不点火。于是，利用式 (1)，点火条件可以如下表示。
这里，是该神经元固有的阈值。
例 1 来自两个神经元 1、2 的输入信号分别为变量、，权重为、，神经元的阈值为。当，，时，考察信号之和的值与表示点火与否的输出信号的值。输入输入和点火输出信号000无01无0
试读结束[说明：试读内容隐藏了图片]