cnn卷积神经网络的特点及优势(卷积神经网络CNN介绍与实践)
cnn卷积神经网络的特点及优势(卷积神经网络CNN介绍与实践)
2024-11-22 09:49:28  作者:狗样的清高  网址:https://m.xinb2b.cn/tech/uim419532.html
卷积神经网络(CNN)介绍与实践

1 CNN的前生今世

1.1 大脑

作为人类,我们不断地通过眼睛来观察和分析周围的世界,我们不需要刻意的“努力”思考,就可以对所看到的一切做出预测,并对它们采取行动。当我们看到某些东西时,我们会根据我们过去学到的东西来标记每个对象。为了说明这些情况,请看下面这张图片:


你可能会想到“这是一个快乐的小男孩站在椅子上”。或者也许你认为他看起来像是在尖叫,即将在他面前攻击这块蛋糕。这就是我们整天下意识地做的事情。我们看到事物,然后标记,进行预测和识别行为。但是我们怎么做到这些的呢?我们怎么能解释我们看到的一切?

大自然花费了5亿多年的时间来创建一个系统来实现这一目标。眼睛和大脑之间的合作,称为主要视觉通路,是我们理解周围世界的原因。


虽然视力从眼睛开始,但我们所看到的实际解释发生在大脑的初级视觉皮层中。当您看到一个物体时,您眼中的光感受器会通过视神经将信号发送到正在处理输入的主视觉皮层。在初级视觉皮层,使眼睛看到的东西的感觉。

所有这一切对我们来说都很自然。我们几乎没有想到我们能够识别我们生活中看到的所有物体和人物的特殊性。神经元和大脑连接的深层复杂层次结构在记忆和标记物体的过程中起着重要作用。

想想我们如何学习例如伞是什么。或鸭子,灯,蜡烛或书。一开始,我们的父母或家人告诉我们直接环境中物体的名称。我们通过给我们的例子了解到。慢慢地,但我们开始在我们的环境中越来越多地认识到某些事情。它们变得如此普遍,以至于下次我们看到它们时,我们会立即知道这个物体的名称是什么。他们成为我们世界的模型一部分。

1.2 卷积神经网络的历史

与孩子学会识别物体的方式类似,我们需要在能够概括输入并对之前从未见过的图像进行预测之前,展示数百万张图片的算法。

计算机以与我们不同的方式“看到”东西的。他们的世界只包括数字。每个图像都可以表示为二维数字数组,称为像素。

但是它们以不同的方式感知图像,这一事实并不意味着我们无法训练他们的识别模式,就像我们一样如何识别图像。我们只需要以不同的方式思考图像是什么。


为了“教会”一种算法如何识别图像中的对象,我们使用特定类型的人工神经网络:卷积神经网络(CNN)。他们的名字源于网络中最重要的一个操作:卷积。卷积神经网络受到大脑的启发。DH Hubel和TN Wiesel在20世纪50年代和60年代对哺乳动物大脑的研究提出了哺乳动物如何在视觉上感知世界的新模型。他们表明猫和猴的视觉皮层包括在其直接环境中专门响应神经元的神经元。

在他们的论文中,他们描述了大脑中两种基本类型的视觉神经元细胞,每种细胞以不同的方式起作用:简单细胞(S细胞)和复合细胞(C细胞)。

例如,当简单单元格将基本形状识别为固定区域和特定角度的线条时,它们就会激活。复杂细胞具有较大的感受野,其输出对野外的特定位置不敏感。

复杂细胞继续对某种刺激做出反应,即使它在视网膜上的绝对位置发生变化。在这种情况下,复杂指的是更灵活。

在视觉中,单个感觉神经元的感受区域是视网膜的特定区域,其中某些东西将影响该神经元的发射(即,将激活神经元)。每个感觉神经元细胞都有相似的感受野,它们的田地覆盖着。


此外,层级【hierarchy 】的概念在大脑中起着重要作用。信息按顺序存储在模式序列中。的新皮层,它是大脑的最外层,以分层方式存储信息。它存储在皮质柱中,或者在新皮层中均匀组织的神经元分组。

1980年,一位名为Fukushima的研究员提出了一种分层神经网络模型。他称之为新认知。该模型的灵感来自简单和复杂细胞的概念。neocognitron能够通过了解物体的形状来识别模式。

后来,1998年,卷心神经网络被Bengio,Le Cun,Bottou和Haffner引入。他们的第一个卷积神经网络称为LeNet-5,能够对手写数字中的数字进行分类。



2 卷积神经网络

卷积神经网络(Convolutional Neural Network)简称CNN,CNN是所有深度学习课程、书籍必教的模型,CNN在影像识别方面的为例特别强大,许多影像识别的模型也都是以CNN的架构为基础去做延伸。另外值得一提的是CNN模型也是少数参考人的大脑视觉组织来建立的深度学习模型,学会CNN之后,对于学习其他深度学习的模型也很有帮助,本文主要讲述了CNN的原理以及使用CNN来达成99%正确度的手写字体识别。 CNN的概念图如下:




从上面三张图片我们可以看出,CNN架构简单来说就是:图片经过各两次的Convolution, Pooling, Fully Connected就是CNN的架构了,因此只要搞懂Convolution, Pooling, Fully Connected三个部分的内容就可以完全掌握了CNN!2.1 Convolution Layer卷积层

卷积运算就是将原始图片的与特定的Feature Detector(filter)做卷积运算(符号⊗),卷积运算就是将下图两个3x3的矩阵作相乘后再相加,以下图为例0 *0 0*0 0*1 0*1 1 *0 0*0 0*0 0*1 0*1 =0


每次移动一步,我们可以一次做完整张表的计算,如下:


下面的动图更好地解释了计算过程:


中间的Feature Detector(Filter)会随机产生好几种(ex:16种),Feature Detector的目的就是帮助我们萃取出图片当中的一些特征(ex:形状),就像人的大脑在判断这个图片是什么东西也是根据形状来推测


利用Feature Detector萃取出物体的边界


使用Relu函数去掉负值,更能淬炼出物体的形状




我们在输入上进行了多次卷积,其中每个操作使用不同的过滤器。这导致不同的特征映射。最后,我们将所有这些特征图放在一起,作为卷积层的最终输出。

就像任何其他神经网络一样,我们使用激活函数使输出非线性。在卷积神经网络的情况下,卷积的输出将通过激活函数。这可能是ReLU激活功能


这里还有一个概念就是步长Stride是每次卷积滤波器移动的步长。步幅大小通常为1,意味着滤镜逐个像素地滑动。通过增加步幅大小,您的滤波器在输入上滑动的间隔更大,因此单元之间的重叠更少。

下面的动画显示步幅大小为1。


由于feature map的大小始终小于输入,我们必须做一些事情来防止我们的要素图缩小。这是我们使用填充的地方。添加一层零值像素以使用零环绕输入,这样我们的要素图就不会缩小。除了在执行卷积后保持空间大小不变,填充还可以提高性能并确保内核和步幅大小适合输入。

可视化卷积层的一种好方法如下所示,最后我们以一张动图解释下卷积层到底做了什么


2.2 Pooling Layer 池化层

在卷积层之后,通常在CNN层之间添加池化层。池化的功能是不断降低维数,以减少网络中的参数和计算次数。这缩短了训练时间并控制过度拟合。

最常见的池类型是max pooling,它在每个窗口中占用最大值。需要事先指定这些窗口大小。这会降低特征图的大小,同时保留重要信息。

Max Pooling主要的好处是当图片整个平移几个Pixel的话对判断上完全不会造成影响,以及有很好的抗杂讯功能。



2.3 Fully Connected Layer 全连接层

基本上全连接层的部分就是将之前的结果平坦化之后接到最基本的神经网络了




3 利用CNN识别MNIST手写字体

下面这部分主要是关于如何使用tensorflow实现CNN以及手写字体识别的应用

# CNN 代码def convolutional(x,keep_prob): def conv2d(x,W): return tf.nn.conv2d(x,W,[1,1,1,1],padding='SAME') def max_pool_2x2(x): return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME') def weight_variable(shape): initial=tf.truncated_normal(shape,stddev=0.1) return tf.Variable(initial) def bias_variable(shape): initial=tf.constant(0.1,shape=shape) return tf.Variable(initial) x_image=tf.reshape(x,[-1,28,28,1]) W_conv1=weight_variable([5,5,1,32]) b_conv1=bias_variable([32]) h_conv1=tf.nn.relu(conv2d(x_image,W_conv1) b_conv1) h_pool1=max_pool_2x2(h_conv1) W_conv2 = weight_variable([5, 5, 32, 64]) b_conv2 = bias_variable([64]) h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) b_conv2) h_pool2 = max_pool_2x2(h_conv2) # full_connetion W_fc1=weight_variable([7*7*64,1024]) b_fc1=bias_variable([1024]) h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64]) h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1) b_fc1) # dropout 随机扔掉一些值,防止过拟合 h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob) W_fc2=weight_variable([1024,10]) b_fc2=bias_variable([10]) y=tf.nn.softmax(tf.matmul(h_fc1_drop,W_fc2) b_fc2) return y,[W_conv1,b_conv1,W_conv2,b_conv2,W_fc1,b_fc1,W_fc2,b_fc2]复制代码

大家稍微对tensorflow的代码有些基础,理解上面这部分基本上没有难度,并且基本也是按照我们前面概念图中的逻辑顺序实现的。

最终按照慕课网上的学习资料TensorFlow与Flask结合打造手写体数字识别,实现了一遍CNN,比较曲折的地方是前端,以及如何将训练的模型与flask整合,最后项目效果如下:


欢迎大家到GitHub fork和star,项目传送门--->TensorFlow-MNIST-WEBAPP4 总结

最后说自己的两点感触吧:

CNN在各种场景已经应用很成熟,网上资料特别多,原先自己也是略知一二,但是从来没有总结整理过,还是整理完之后心里比较踏实一些。切记理论加实践,实现一遍更踏实。

5 参考资料

[資料分析&機器學習] 第5.1講: 卷積神經網絡介紹(Convolutional Neural Network) An Intuitive Explanation of Convolutional Neural Networks – the data science blog Convolutional Neural Network (CNN) | Skymind Convolutional Neural Networks (LeNet) — DeepLearning 0.1 documentation CS231n Convolutional Neural Networks for Visual Recognition 卷积神经网络(CNN)学习笔记1:基础入门 | Jey Zhang Deep Learning(深度学习)学习笔记整理系列之(七) - CSDN博客

参考文献:K码农-http://kmanong.top/kmn/qxw/form/home?top_cate=28

  • 腌酸辣萝卜的做法(酸辣萝卜的具体腌制方法)
  • 2024-11-22酸辣萝卜的具体腌制方法白萝卜洗净,连皮一起切成细条,用极少量盐搓揉白萝卜,拿到阳台晾晒4-5小时,直到萝卜条变软,表面的水分干掉准备一个干净、密封的泡菜罐,烧一壶开水,完全放凉之后到入罐中,水量约罐子的一半放入适量的盐、白。
  • 如何查快递(如何自己查询快递信息)
  • 2024-11-22如何自己查询快递信息打开支付宝手机客户端,找到“我的快递”进入,没有这项可以点击后面的更多添加进入我的快递界面,点击右上角的三个点在设置菜单中选择管理授权进入授权界面,点击下面的添加手机号输入手机号码,点击发送校验码输入。
  • 张爱玲相见欢读后感800字(同学少年都不贱)
  • 2024-11-22同学少年都不贱上回我们讲到,昔日的一对好友赵珏恩娟时隔二十年在美国重逢,彼时一个是飞黄腾达的内阁要人夫人,一个是靠打零工艰难度日的普通人,身份的落差让她们的友情变了味道,两个人的交谈也没有了默契,恩娟对赵珏的处境没。
  • 如果人都会死那活着的意义在哪(活着有什么意义)
  • 2024-11-22活着有什么意义最近我拟了几个题目,这些题目,基本上都是在追问人生的终极问题这些问题,也许和日常的柴米油盐、衣食住行没关系,但它却关系到我们能不能过好生活往大了说,关系到中华民族共有精神家园的构筑,关系到中华民族的复。
  • 洗手液可以用来洗碗吗(洗手液是否可以用来洗碗)
  • 2024-11-22洗手液是否可以用来洗碗洗手液不可用来洗碗,因为洗手液和洗洁精的配方不一样,而洗手液里有许多化工的强碱性和杀菌等原料成分,而这种原料成分不适应洗碗,虽然能够洗干净碗,但是它的残留物,吸附在碗上不一定能彻底清除任何东西还是对症。
  • 辣椒高效丰产种植管理技术要点(辣椒全套栽培技术)
  • 2024-11-22辣椒全套栽培技术辣椒是人们喜爱的蔬菜之一,含有较高的维生素C、辣椒素,食用后可以除湿祛寒,促进血液循环,增强抵抗力它芬芳的辛辣味还能刺激味蕾、提高食欲,自300年前传入中国后,便得到了广泛的种植近年来,随着人们生活水。
  • 塔罗牌一定要用牌阵吗(塔罗牌真的准吗)
  • 2024-11-22塔罗牌真的准吗知九酱做塔罗师以来,不断有人问我关于塔罗牌的一些疑问:塔罗牌到底准吗?使用上有什么禁忌?和占星有什么区别?想学塔罗牌该如何入手?于是知九酱决定在这里把问题整理出来,用一篇文章一并解答你关于塔罗的所有疑。
  • 日本有什么小众的旅游景点(日本旅游必去景点)
  • 2024-11-22日本旅游必去景点受疫情影响,不仅奥运会推迟,今年日本的旅游业也遭受重创2020年日本旅游总收入总额降至478亿美元,相比2019年1044亿美元旅游总收入下降了54.2%最近日本政府发布日本入境新制度:全面解除日本入。
  • 独特创意的微信名字(比较独特的微信名)
  • 2024-11-22比较独特的微信名花开一半我是绿柠檬请给我超能力青藤之凉素面朝天致命诱惑青春如此纠结只为沵癫狂溺于你心海暧昧不叫爱情跟彩虹说午安微笑掩盖不了泪痕别在我眼前犯贱人的名树的影紫色蒲公英飞霜墨染褚这个夏天阡陌暗淡落幕呆檬闭上。
  • 我们身边的安全隐患及解决方法 身边这些安全隐患
  • 2024-11-22我们身边的安全隐患及解决方法 身边这些安全隐患随意丢弃烟头、楼道堆放杂物、乱拉电线……人们的一些日常生活行为,都可能给消防安全埋下隐患,也可能对生命财产安全构成威胁近日,记者采访了西安消防部门相关专家并搜集整理了一些日常生活中存在消防安全隐患的场。
  • 杭州至温州动车什么时候开通(杭州至温州高铁)
  • 2024-11-22杭州至温州高铁长三角地区一直都是我国铁路最密集的区域之一,这片区域人口稠密,经济发展水平高,人民生活富庶,这些基本要素都对铁路的建设提供了强大支撑,目前长三角地区已经初步形成了国内最完善、最便捷的城际高铁网,然而长。