第5章：MNIST数据集简介课件

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,张明 副教授,人工智能原理：,基于,Python,语言和,TensorFlow,第五章：,MNIST,机器学习,MNIST,数据集简介,MNIST,数据下载,softmax,回归模型简介,模型的训练与评估,TensorFlow,模型基本步骤,构建,softmax,回归模型,5.1,：,MNIST,数据集简介,1,MNIST,数据集的概念,2,MNIST,数据集功能,3 MNIST,数据集组成,1,：,MNIST,数据集的概念,当学习任意一门计算机语言进行编程时，首先接触的第一个程序就是打印“,Hello World”,。大家接触每一种编程语言都会有,Hello World,作为第一个编程任务，在人工智能机器学习领域也不例外。学习人工智能的初学者，通过使用,MNIST,（,Mixed National Institute of Standards and Technology database,）手写数字识别任务的练习，来对人工智能,TensorFlow,进行最初步的应用。,1,：,MNIST,数据集的概念,手写数字的,MNIST,数据集,手写数字的,MNIST,数据集,来自于美国国家标准与技术研究所（,NIST,），它是一个庞大的手写数字数据库，也是网上著名的公开数据集之一。,包含了,60,000,个训练示例图片以及,10,000,个测试图片，数据集的图片分别代表了阿拉伯数字,0,阿拉伯数字,9,中的任意一个数字，图片只包含灰度值信息，规格尺寸为,2828,，所以每一张图片就是拥有,784,（,2828,）列的数据，数字位于整张图片的最中央位置，它是,NIST,提供的更大集合的一个子集。,训练集（,training set,）,由来自,250,个不同人手写的数字构成，其中,50%,是高中学生，,50%,来自人口普查局（,the Census Bureau,）的工作人员。测试集（,test set,）也是同样比例的手写数字数据。,5.1,：,MNIST,数据集简介,1,MNIST,数据集的概念,2,MNIST,数据集功能,3 MNIST,数据集组成,2,：,MNIST,数据集功能,数据集有两个功能：,（1）提供了大量的数据作为训练集和测试集，为一些兴趣爱好者和学习者提供了丰富的资源信息。（2）形成一个业界领域具有一定对比程度的项目，不同的研究者使用了相同的数据集，从而可以更加方便地将结果进行对比，从而验证出哪种设计的程序识别率更高。,MNIST是一个简单的计算机视觉数据集。它由图5-1所示的手写数字的图像组成。,它还包括每个图像的标签，以便清楚地告诉我们出现的是什么数字。例如，上述图像的标签分别是,5,、,2,、,5,、,3,，所以，,MNIST,数据集中的每张数据图片都被事先标注了相应的阿拉伯数字。,5.1,：,MNIST,数据集简介,1,MNIST,数据集的概念,2,MNIST,数据集功能,3 MNIST,数据集组成,3,：,MNIST,数据集组成,将,MNIST,数据集从官方网站下载完毕，下载下来的数据集图片被分成两部分：,包含了,60000,张图片的训练数据集（,mnist.train,）,包含了,10000,张图片的测试数据集（,mnist.test,）,其中，训练数据集用来提供给使用者进行模型的训练，以期训练出合适的模型；测试数据集用来提供给使用者对前一个阶段训练出的模型进行性能上的测试，在机器学习模型设计阶段，必须要设置一个单独的测试数据集用来评估模型的性能，这个测试数据集不用于训练。,3,：,MNIST,数据集组成,MNIST,数据单元分为两个部分：,一张包含手写数字的图片,一个对应的标签,我们把图片设为“,xs”,，把这些标签设为“,ys”,。训练数据集和测试数据集都含有,xs,和,ys,，可以将训练数据集的图片名称设定为,mnist.train.images,，将训练数据集的标签设定为,mnist.train.labels,。,3,：,MNIST,数据集组成,每一张图片包含,28,像素,28,个像素点，可以用一个数字数组来表示这张图片，如图,5-2,所示。将这个数字数组展开成一个向量，长度是,2828=784,。数字间的顺序不重要，只要保持各个图片采用相同的方式展开。,图,5-2,3,：,MNIST,数据集组成,MNIST,数据集的图片就是在,784,维向量空间里面的点，并且拥有比较复杂的结构。在,MNIST,训练数据集中，,mnist.train.images,是一个形状为,60000,784,的张量，第一个维度数字用来索引图片，第二个维度数字用来索引每张图片中的像素点。在此张量里的每一个元素，都表示某张图片里的某个像素的强度值，值介于,0,和,1,之间，如图,5-3,所示：,图,5-3,3,：,MNIST,数据集组成,MNIST,数据集的标签,mnist.train.labels,是介于,0,到,9,的数字，用来描述给定的训练图片里所表示的数字。标签数据用,“one-hot vectors”,的形式来表示，所谓的,one-hot,是指一位有效编码，即，我们使用,n,维度的向量来表示,n,个类别，这其中，每一个类别都会占据相对独立的一个位置，因此，一个,one-hot,向量即为除了某一特定位置的数字是,1,以外，其余各维度数字都是,0,。数字,n,将表示成一个只有在第,n,维度（从,0,开始）数字为,1,的,10,维向量。,3,：,MNIST,数据集组成,因此，,mnist.train.labels,是一个,60000,10,的,10,维度数字矩阵，如图,5-4,所示。,图,5-4,第五章：,MNIST,机器学习,MNIST,数据集简介,MNIST,数据下载,softmax,回归模型简介,模型的训练与评估,TensorFlow,模型基本步骤,构建,softmax,回归模型,5.2,：,MNIST,数据下载,1,数据的准备,2,数据重构,3,数据集对象,1,：数据的准备,下载,MNIST,数据集，需要到它的官方网站进行下载,，如图,5-5,所示：,图,5-5,1,：数据的准备,MNIST,数据集是一个完全公开的数据集，任何的算法都可以拿来并应用,MNIST,数据集进行测试，如图,5-6,所示。,图,5-6,1,：数据的准备,MNIST,数据集官方网站上下载以下四种数据文件作为训练集与测试集：,Train-images-idx3-ubyte.gz:,训练集图片,55000,张训练图片和,5000,张验证图片。,Train-labels-idx1-ubyte.gz:,训练集图片对应的数字标签。,t10k-images-idx3-ubyte.gz:,测试集图片,-10000,张测试图片。,t10k-labels-idx1-ubyte.gz:,测试集图片对应的数字标签。,1,：数据的准备,通过,Python,源代码可以进行数据集的自动下载和安装，然后使用下列程序代码内容将之导入到项目里面，代码如下所示。,1,：数据的准备,接下来继续通过代码的具体内容来分析,MNIST,内容，代码如下所示。,1,：数据的准备,最后通过下列代码可以查看相关数据集信息，代码如下所示。,2,：数据重构,MNIST,数据集中的四种数据文件没有使用标准的图片格式储存，需要使用,extract_images(),和,extract_labels(),函数进行手动解压。,图片数据会被解压成二维的张量：,image index,pixel index,，其中每一项表示图片中特定像素的强度值，范围从,0,255,缩放到到,-0.5,0.5,。其中,image index,代表数据集中图片的编号，从,0,到数据集的上限数值。,pixel index,代表图片中像素点的个数，从,0,到图片的像素上限数值。以,train-,开头的文件中包含,60000,个样本，其中,55000,个样本作为训练集，,5000,个作为验证集。,2,：数据重构,数据集中的灰度图片,是,28*28,像素图片，它们的尺寸是,784,，即训练数据集内的每张图片都是由一个,784,维度的向量来表示的，训练集输出的张量格式是,55000,784,。,数字标签数据,被解压为一维的张量：,image index,，它定义了每个样本数值的类别分类。即训练集的标签的数据规模是,55000,。,3,：数据集对象,底层的源代码将会执行下载、解压、重构图片和标签数据来组成以下三种数据集对象。,l,data_sets.train,：,55000,组图片和标签，用于训练。,l,data_sets.validation,：,5000,组图片和标签，用于迭代验证训练的准确性。,l,data_sets.test,：,10000,组图片和标签，用于最终测试训练的准确性。,执行,read_data_sets(),函数将会返回一个,DataSet,实例，其中包含了上述的三种数据集。函数,DataSet.next_batch(),用于获取以,batch_size,为大小的一个包含了图片和标签的元祖，该元祖会被用于当前的,TensorFlow,运算,Session,中代码如下所示。,images_feed,labels_feed=data_set.next_batch(FLAGS.batch_size),第五章：,MNIST,机器学习,MNIST,数据集简介,MNIST,数据下载,softmax,回归模型简介,模型的训练与评估,TensorFlow,模型基本步骤,构建,softmax,回归模型,5.3,：,softmax,回归模型简介,softmax,回归模型是一个线性的多类分类模型，用来给不同的图片对象分配概率,。,softmax,回归应用通常要先对图片像素值进行加权求和，从而得到一张给定图片属于某个特定数字类的证据（,evidence,）。如果这个像素能够有证据来证明这张图片不属于该类别，相应的权值就会用负数来进行标注；反之，如果这个像素拥有足够的证据来证明这张图片属于这个类别，那么相应的权值就会用正数来进行标注。,5.3,：,softmax,回归模型简介,softmax,回归应用,通常要先对图片像素值进行加权求和，从而得到一张给定图片属于某个特定数字类的证据（,evidence,）。如果这个像素能够有证据来证明这张图片不属于该类别，相应的权值就会用负数来进行标注；反之，如果这个像素拥有足够的证据来证明这张图片属于这个类别，那么相应的权值就会用正数来进行标注。,如图,5-7,所示的图片显示了一个模型学习到的图片上每个像素对于特定数字类的权值。红色代表的权值为负数，蓝色代表的权值为正数。,5.3,：,softmax,回归模型简介,对所有特征计算softmax，给定一张图片，它对于每一个数字的契合度可以被softmax函数转换成为一个概率值，使得所有类别输出的概率值和为1。,softmax,函数可以定义如下：,5.3,：,softmax,回归模型简介,将等号右边的式子展开，可得到判定为第i类的概率,：,因此，可以将输入值作为幂指数来进行求值运算，然后，再将这些结果值进行一定程度的正则化。,5.3,：,softmax,回归模型简介,将,softmax,回归模型整个计算过程进行可视化，如图,5-8,所示。,5.3,：,softmax,回归模型简介,对于输入的xs进行加权求和，再分别对其加上一个偏置项，最后再输入至softmax函数中，,将上述内容的连线部分变为公式，可得出如图,5-9,所示的内容。,5.3,：,softmax,回归模型简介,另外，还可将整个计算过程使用向量的方式来进行表示，即将元素相乘变为用矩阵乘法和向量相加。这样做既是一种有效的思考方式，也有助于提高计算效率,，,如图所示。,第五章：,MNIST,机器学习,MNIST,数据集简介,MNIST,数据下载,softmax,回归模型简介,TensorFlow,模型基