aiguilai

Caffe实战(十二):模型分类测试以及特征图和参数可视化示例(python)

训练好的模型需要进行测试分类效果;查看卷积层输出的特征图以及训练的参数特征,不仅可以更直观的了解各层训练效果,还能够加深理解训练过程。下面以测试cifar10 模型为例,展示测试过程,各层特征图以及参数的可视化。
 
# _*_ coding : UTF-8 _8_
# 参考:Caffe Cifar10模型测试及可视化
#       https://www.jianshu.com/p/54bf15299d5a
 
# 加载必要的库
import numpy as np
import matplotlib.pyplot as plt
# matplotlib inline # 在notebook里面显示图像
import sys, os, caffe
 
# 设置当前目录,判断模型是否训练好
caffe_root = \'E:\\Learning\\caffe\\Microsoft\\caffe\\\'
os.chdir(caffe_root)
if not os.path.isfile(caffe_root +  \'examples\\cifar10\\cifar10_quick_iter_4000.caffemodel.h5\'):
    print("caffemodel is not exist...")
 
# 利用提前训练好的模型,设置测试网络
caffe.set_mode_gpu()
net_file = caffe_root +  \'examples\\cifar10\\cifar10_quick.prototxt\'
caffe_model = caffe_root +  \'examples\\cifar10\\cifar10_quick_iter_4000.caffemodel.h5\'
 
net = caffe.Net(net_file, caffe_model, caffe.TEST)
print net.blobs[\'data\'].data.shape
print type(net.blobs[\'data\'])       # 键data所对应的值是Blob,不是BlobVector,注意和params区分
print type(net.blobs[\'data\'].data)  # Blob.data得到的是numpy.ndarray
 
# 加载测试图片,并显示
img = caffe.io.load_image(\'examples\\images\\cat.jpg\')
print img.shape
plt.imshow(img)
plt.axis(\'off\')   # 不显示坐标轴
plt.show()        # 注意添加该函数才会显示图片,仅仅使用plt.imshow(img)不会显示
 
# 编写一个函数,将二进制的均值转换为Python的均值
def convert_mean(binMean, npyMean):
    blob = caffe.proto.caffe_pb2.BlobProto() # 声明一个blob
    bin_mean = open(binMean,\'rb\').read() # 打开二进制均值文件
    blob.ParseFromString(bin_mean)  # 将二进制均值文件读入blob
    arr = np.array(caffe.io.blobproto_to_array(blob)) # 将blob转换为numpy array
    npy_mean = arr[0]
    print arr.shape # arr是四维array,第一维表示第一图,其实就是唯一一张均值图
    np.save(npyMean, npy_mean)
 
binMean = caffe_root + \'data\\cifar10\\mean.binaryproto\'
npyMean = caffe_root + \'data\\cifar10\\mean.npy\'
convert_mean(binMean, npyMean)
 
# 定义转换,及预处理函数
# caffe中用的图像是BGR空间,但是matplotlib用的是RGB空间
# 再比如caffe的数值空间是[0,255]但是matplotlib的空间是[0,1]。这些都需要转换
# 预处理函数应该自动resize了测试图片的大小
mu = np.load(npyMean)   # 载入均值文件
mu = mu.mean(1).mean(1) # 计算像素的均值
 
transformer =  caffe.io.Transformer({\'data\':net.blobs[\'data\'].data.shape})
transformer.set_transpose(\'data\',(2,0,1)) #  [H,W,C]-->[C,H,W]
transformer.set_mean(\'data\',mu) # 减去均值
transformer.set_raw_scale(\'data\',255) # 将0-1空间转换为0-255空间
transformer.set_channel_swap(\'data\',(2,1,0)) # RGB-->BGR
 
net.blobs[\'data\'].data[...] =  transformer.preprocess(\'data\',img)
inputData = net.blobs[\'data\'].data
 
# 显示减去均值前后的数据
plt.figure()
plt.subplot(1,2,1), plt.title("origin")
plt.imshow(img)
plt.axis(\'off\')
plt.subplot(1,2,2), plt.title("subtract mean")
img_sub_mean = transformer.deprocess(\'data\', inputData[0])
plt.imshow(transformer.deprocess(\'data\', inputData[0]))
plt.axis(\'off\')
plt.show()
 
# 运行测试模型,并显示各层数据信息
net.forward()
print [(k, v.data.shape) for k, v in net.blobs.items()]
 
# 显示各层的参数信息,值显示weight
print [(k, v[0].data.shape) for k, v in net.params.items()]
 
# 编写一个函数,用于显示各层数据
# data:三维(num,h,w)
# padsize: (h,w)之间填充个数
# padval: 填充值
def show_data(data, padsize=1, padval=0):
    data -= data.min()
    data /= data.max()
    # force the number of filters to be square
    n = int(np.ceil(np.sqrt(data.shape[0])))  # figure上行列显示map个数
    padding = ((0, n**2 - data.shape[0]), (0,padsize),  (0,padsize)) + ((0,0),) * (data.ndim - 3) # 每个维度填充参数,注意针对多出的map进行填充;每个map之间填充1
    data = np.pad(data, padding, mode=\'constant\',  constant_values=(padval,padval)) # 对每个维度进行填充
    # title the filters into an image       
    data = data.reshape((n,n) +  data.shape[1:]).transpose((0,2,1,3) +  tuple(range(4,data.ndim+1))) # 四维:行map个数 map行 列map个数 map列
    data = data.reshape((n * data.shape[1], n *  data.shape[3]) + data.shape[4:])  # 四维-->二维 map图在二维上显示
    plt.figure()
    plt.imshow(data,cmap=\'gray\')  # 映射灰度空间
    plt.axis(\'off\')
    plt.show()
    
plt.rcParams[\'figure.figsize\'] = (8, 8) # 显示图像的最大范围
plt.rcParams[\'image.interpolation\'] = \'nearest\' # 插值方式
plt.rcParams[\'image.cmap\'] = \'gray\' # 灰度空间
 
# 显示第一个卷积层的输出数据和权值(filter)
show_data(net.blobs[\'conv1\'].data[0]) #  net.blobs[\'conv1\'].data其实就是经过conv1卷积后的feature maps
print net.blobs[\'conv1\'].data.shape
show_data(net.params[\'conv1\'][0].data.reshape(32*3,5,5))
print net.params[\'conv1\'][0].data.shape
 
# 显示第一次Pooling后的输出数据
show_data(net.blobs[\'pool1\'].data[0])
print net.blobs[\'pool1\'].data.shape
 
# 显示第二次卷积后的输出数据以及相应的权值(filter)
show_data(net.blobs[\'conv2\'].data[0], padval=0.5)
print net.blobs[\'conv2\'].data.shape
show_data(net.params[\'conv2\'][0].data.reshape(32**2,5,5))
print net.params[\'conv2\'][0].data.shape
 
# 显示第三次卷积后的输出数据以及相应的权值(filter),取前1024个进行显示
show_data(net.blobs[\'conv3\'].data[0], padval=0.5)
print net.blobs[\'conv3\'].data.shape
show_data(net.params[\'conv3\'][0].data.reshape(64*32,5,5)[:1024])
print net.params[\'conv3\'][0].data.shape
 
# 显示第三次Pooling后的输出数据
show_data(net.blobs[\'pool3\'].data[0],padval=0.2)
print net.blobs[\'pool3\'].data.shape
 
# 最后一层输出的是测试图片属于某个类的概率
feat = net.blobs[\'prob\'].data[0]
print feat
plt.plot(feat.flat)
plt.show()

 

分类:

技术点:

相关文章: