Caffe实战(十二):模型分类测试以及特征图和参数可视化示例(python)
训练好的模型需要进行测试分类效果;查看卷积层输出的特征图以及训练的参数特征,不仅可以更直观的了解各层训练效果,还能够加深理解训练过程。下面以测试cifar10 模型为例,展示测试过程,各层特征图以及参数的可视化。
# _*_ coding : UTF-8 _8_ # 参考:Caffe Cifar10模型测试及可视化 # https://www.jianshu.com/p/54bf15299d5a # 加载必要的库 import numpy as np import matplotlib.pyplot as plt # matplotlib inline # 在notebook里面显示图像 import sys, os, caffe # 设置当前目录,判断模型是否训练好 caffe_root = \'E:\\Learning\\caffe\\Microsoft\\caffe\\\' os.chdir(caffe_root) if not os.path.isfile(caffe_root + \'examples\\cifar10\\cifar10_quick_iter_4000.caffemodel.h5\'): print("caffemodel is not exist...") # 利用提前训练好的模型,设置测试网络 caffe.set_mode_gpu() net_file = caffe_root + \'examples\\cifar10\\cifar10_quick.prototxt\' caffe_model = caffe_root + \'examples\\cifar10\\cifar10_quick_iter_4000.caffemodel.h5\' net = caffe.Net(net_file, caffe_model, caffe.TEST) print net.blobs[\'data\'].data.shape print type(net.blobs[\'data\']) # 键data所对应的值是Blob,不是BlobVector,注意和params区分 print type(net.blobs[\'data\'].data) # Blob.data得到的是numpy.ndarray # 加载测试图片,并显示 img = caffe.io.load_image(\'examples\\images\\cat.jpg\') print img.shape plt.imshow(img) plt.axis(\'off\') # 不显示坐标轴 plt.show() # 注意添加该函数才会显示图片,仅仅使用plt.imshow(img)不会显示 # 编写一个函数,将二进制的均值转换为Python的均值 def convert_mean(binMean, npyMean): blob = caffe.proto.caffe_pb2.BlobProto() # 声明一个blob bin_mean = open(binMean,\'rb\').read() # 打开二进制均值文件 blob.ParseFromString(bin_mean) # 将二进制均值文件读入blob arr = np.array(caffe.io.blobproto_to_array(blob)) # 将blob转换为numpy array npy_mean = arr[0] print arr.shape # arr是四维array,第一维表示第一图,其实就是唯一一张均值图 np.save(npyMean, npy_mean) binMean = caffe_root + \'data\\cifar10\\mean.binaryproto\' npyMean = caffe_root + \'data\\cifar10\\mean.npy\' convert_mean(binMean, npyMean) # 定义转换,及预处理函数 # caffe中用的图像是BGR空间,但是matplotlib用的是RGB空间 # 再比如caffe的数值空间是[0,255]但是matplotlib的空间是[0,1]。这些都需要转换 # 预处理函数应该自动resize了测试图片的大小 mu = np.load(npyMean) # 载入均值文件 mu = mu.mean(1).mean(1) # 计算像素的均值 transformer = caffe.io.Transformer({\'data\':net.blobs[\'data\'].data.shape}) transformer.set_transpose(\'data\',(2,0,1)) # [H,W,C]-->[C,H,W] transformer.set_mean(\'data\',mu) # 减去均值 transformer.set_raw_scale(\'data\',255) # 将0-1空间转换为0-255空间 transformer.set_channel_swap(\'data\',(2,1,0)) # RGB-->BGR net.blobs[\'data\'].data[...] = transformer.preprocess(\'data\',img) inputData = net.blobs[\'data\'].data # 显示减去均值前后的数据 plt.figure() plt.subplot(1,2,1), plt.title("origin") plt.imshow(img) plt.axis(\'off\') plt.subplot(1,2,2), plt.title("subtract mean") img_sub_mean = transformer.deprocess(\'data\', inputData[0]) plt.imshow(transformer.deprocess(\'data\', inputData[0])) plt.axis(\'off\') plt.show() # 运行测试模型,并显示各层数据信息 net.forward() print [(k, v.data.shape) for k, v in net.blobs.items()] # 显示各层的参数信息,值显示weight print [(k, v[0].data.shape) for k, v in net.params.items()] # 编写一个函数,用于显示各层数据 # data:三维(num,h,w) # padsize: (h,w)之间填充个数 # padval: 填充值 def show_data(data, padsize=1, padval=0): data -= data.min() data /= data.max() # force the number of filters to be square n = int(np.ceil(np.sqrt(data.shape[0]))) # figure上行列显示map个数 padding = ((0, n**2 - data.shape[0]), (0,padsize), (0,padsize)) + ((0,0),) * (data.ndim - 3) # 每个维度填充参数,注意针对多出的map进行填充;每个map之间填充1 data = np.pad(data, padding, mode=\'constant\', constant_values=(padval,padval)) # 对每个维度进行填充 # title the filters into an image data = data.reshape((n,n) + data.shape[1:]).transpose((0,2,1,3) + tuple(range(4,data.ndim+1))) # 四维:行map个数 map行 列map个数 map列 data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:]) # 四维-->二维 map图在二维上显示 plt.figure() plt.imshow(data,cmap=\'gray\') # 映射灰度空间 plt.axis(\'off\') plt.show() plt.rcParams[\'figure.figsize\'] = (8, 8) # 显示图像的最大范围 plt.rcParams[\'image.interpolation\'] = \'nearest\' # 插值方式 plt.rcParams[\'image.cmap\'] = \'gray\' # 灰度空间 # 显示第一个卷积层的输出数据和权值(filter) show_data(net.blobs[\'conv1\'].data[0]) # net.blobs[\'conv1\'].data其实就是经过conv1卷积后的feature maps print net.blobs[\'conv1\'].data.shape show_data(net.params[\'conv1\'][0].data.reshape(32*3,5,5)) print net.params[\'conv1\'][0].data.shape # 显示第一次Pooling后的输出数据 show_data(net.blobs[\'pool1\'].data[0]) print net.blobs[\'pool1\'].data.shape # 显示第二次卷积后的输出数据以及相应的权值(filter) show_data(net.blobs[\'conv2\'].data[0], padval=0.5) print net.blobs[\'conv2\'].data.shape show_data(net.params[\'conv2\'][0].data.reshape(32**2,5,5)) print net.params[\'conv2\'][0].data.shape # 显示第三次卷积后的输出数据以及相应的权值(filter),取前1024个进行显示 show_data(net.blobs[\'conv3\'].data[0], padval=0.5) print net.blobs[\'conv3\'].data.shape show_data(net.params[\'conv3\'][0].data.reshape(64*32,5,5)[:1024]) print net.params[\'conv3\'][0].data.shape # 显示第三次Pooling后的输出数据 show_data(net.blobs[\'pool3\'].data[0],padval=0.2) print net.blobs[\'pool3\'].data.shape # 最后一层输出的是测试图片属于某个类的概率 feat = net.blobs[\'prob\'].data[0] print feat plt.plot(feat.flat) plt.show()