#卷积神经网络
传统神经网络存在的问题：
- 权值太多，计算量太大；
- 权值太多，需要大量样本进行训练。
卷积神经网络CNN：
- CNN通过感受野和权值共享减少了神经网络需要训练的参数个数：
- 卷积：
- 多个卷积核：
*卷积核可以看作是一个滤波器，卷积操作之后会得到一个特征图，不同的卷积核得到的特征图是不一样的，所以不同的卷积核可以对图的不同特征进行取样。
#pooling（池化）
一般卷积层之后都会加上一个池化层，池化层会降维，缩小特征图。
- 最大池化：把每个区域的最大值取出来；
- 平均池化：把每个区域的平均值算出来；
- 随机池化：在每个区域中找一个随机值放过来。
对于卷积操作：
- SAME PADDING：
- 给平面外部补0，这样卷积窗口采样后得到一个跟原来平面大小相同的平面。
- VALID PADDING：
- 不会超出平面外部，卷积窗口采样后得到一个比原来平面小的平面。
对于池化操作：
- SAME PADDING：
- 可能会给平面外部补0。
- VALID PADDING：
- 不会超出平面外部。
#CNN结构
#卷积神经网络应用于MNIST数据集分类
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data',one_hot=True)
#每个批次的大小
batch_size = 100
#计算一个有多少个批次
n_batch = mnist.train.num_examples // batch_size
#初始化权值
def weight_variable(shape):
initial = tf.truncated_normal(shape,stddev=0.1)
return tf.Variable(initial)
#初始化偏置值
def bias_variable(shape):
initial = tf.constant(0.1,shape=shape)
return tf.Variable(initial)
#卷积层
def conv2d(x,W):
#x input tensor of shape '[batch, in_height, in_width, in_channels]'
#W filter / kernel tensor of shape [filter_height, filter_width, in_channels, out_channels]
#'strides[0] = strides[3] = 1', strides[1]代表x方向的步长，strides[2]代表y方向的步长
#padding: A 'string' from: '"SAME", "VALID"'
#channel指通道，黑白图片为1，彩色为3
return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding="SAME")
#池化层
def max_pool_2x2(x):
#ksize [1,x,y,1] 窗口大小
return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding="SAME")
#定义两个placeholder
x = tf.placeholder(tf.float32,[None,784]) #28*28
y = tf.placeholder(tf.float32,[None,10])
#改变x的格式转为4D的向量[batch, in_height, in_width, in_channels]
x_image = tf.reshape(x,[-1,28,28,1])
#初始化第一个卷积层的权值和偏置
W_conv1 = weight_variable([5,5,1,32]) #5*5的采样窗口，32个卷积核从1个平面抽取特征
b_conv1 = bias_variable([32]) #每一个卷积核一个偏置值
#把x_image和权值向量进行卷积，再加上偏置值，然后应用于relu**函数
h_conv1 = tf.nn.relu(conv2d(x_image,W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1) #进行max_pooling
#初始化第二个卷积层的权值和偏置
W_conv2 = weight_variable([5,5,32,64]) #5*5的采样窗口，64个卷积核从32个平面抽取特征
b_conv2 = bias_variable([64]) #每一个卷积核一个偏置值
#把h_pool1和权值向量进行卷积，再加上偏置值，然后应用于relu**函数
h_conv2 = tf.nn.relu(conv2d(h_pool1,W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2) #进行max_pooling
#28*28的图片第一次卷积后还是28*28，第一次池化后变为14*14
#第二次卷积后为14*14，第二次池化后变为了7*7
#经过上面操作后得到64张7*7的平面
#初始化第一个全连接层的权值
W_fe1 = weight_variable([7*7*64,1024]) #上一层有7*7*64个神经元，全连接层有1024个神经元
b_fe1 = bias_variable([1024]) #1024个节点
#把池化层2的输出扁平化为1维
h_pool2_flat = tf.reshape(h_pool2,[-1,7*7*64])
#求第一个全连接层的输出
h_fe1 = tf.nn.relu(tf.matmul(h_pool2_flat,W_fe1) + b_fe1)
#keep_prob用来表示神经元的输出概率
keep_prob = tf.placeholder(tf.float32)
h_fe1_drop = tf.nn.dropout(h_fe1,keep_prob)
#初始化第二个全连接层的权值
W_fe2 = weight_variable([1024,10])
b_fe2 = bias_variable([10])
#计算输出
prediction = tf.nn.softmax(tf.matmul(h_fe1_drop,W_fe2) + b_fe2)
#交叉熵代价函数
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#使用AdamOptimizer进行优化
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
#结果存放在一个布尔列表中
correct_prediction = tf.equal(tf.argmax(prediction,1),tf.argmax(y,1)) #argmax返回一维张量中最大的值所在的位置
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
for epoch in range(21):
for batch in range(n_batch):
batch_xs,batch_ys = mnist.train.next_batch(batch_size)
sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys,keep_prob:0.7})
acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels,keep_prob:1.0})
print('Iter ' + str(epoch) + ",Testing Accuracy= " + str(acc))执行结果：
emmm因为跑得太慢了，所以先放上半成品。
#作业
1、从头到尾实现一遍这个程序，并且运行一下，识别率应该能达到99%。
2、把卷积神经网络的结构规划好，然后放到tensorboard中去运行。
#参考答案
PS.此为学习《深度学习框架Tensorflow学习与应用》课程的笔记。【http://www.bilibili.com/video/av20542427/?share_source=copy_link&p=4&ts=1551709559&share_medium=iphone&bbid=7db773463cc4248e755f030556bc67d1】