一、变量相关的函数
1）tf.train.list_variables(ckpt_dir_or_file) Returns list of all variables in the checkpoint
2）tf.global_variables_initializer() 用于初始化所有的变量(GraphKeys.VARIABLES),替代 tf.initialize_all_variables()。
3）tf.Variable(initial_value=None, trainable=True, collections=None, validate_shape=True, caching_device=None, name=None, variable_def=None, dtype=None, expected_shape=None, import_scope=None）
trainable: 默认为`True`，则默认值也将变量添加到图形中集合`GraphKeys.TRAINABLE_VARIABLES`。#这个集合用作“Optimizer”类使用的默认变量列表。
collections:图表集合键的列表。新的变量被添加到这些集合。默认为`[GraphKeys.GLOBAL_VARIABLES]`）
用于生成一个初始值为initial-value的变量；必须指定初始化值
4）tf.get_variable(name,shape=None,dtype=None,initializer=None,regularizer=None,trainable=True,collections=None,caching_device=None,partitioner=None,validate_shape=True,use_resource=None,custom_getter=None,constraint=None)
获取已存在的变量(要求不仅名字，而且初始化方法等各个参数都一样)，如果不存在，就新建一个；可以用各种初始化方法，不用明确指定值。
推荐使用tf.get_variable()：
- 初始化方便
- 方便共享变量，因为
tf.get_variable()会检查当前命名空间下是否存在同样name的变量，可以方便共享变量。而tf.Variable每次都会新建一个变量
需要注意的是tf.get_variable()，要配合reuse和tf.variable_scope()使用，对于get_variable()来说，如果已经创建的变量对象，就把那个对象返回，如果没有创建变量对象的话，就创建一个新的。
5）tf.name_scope() 此函数作用是共享变量。在一个作用域scope内共享一些变量，简单来说，就是给变量名前面加个变量空间名，只限于tf.Variable()的变量。
6）tf.variable_scope() 和tf.name_scope()作用一样，不过包括tf.get_variable()的变量和tf.Variable()的变量。在同一个程序中多次调用，在第一次调用之后需要将reuse参数设置为True，简而言之，reuse=False时，在scope下面创建变量，reuse=True时，在scope下面获取已有变量。
with tf.variable_scope("one"): a = tf.get_variable("v", [1]) #默认reuse=False，创建了一个变量，a.name == "one/v:0" with tf.variable_scope("one"): b = tf.get_variable("v", [1]) #创建两个名字一样的变量会报错 ValueError: Variable one/v already exists ，这个时候reuse=False，你只能新创建变量，不能get已有变量 with tf.variable_scope("one", reuse = True): #注意reuse的作用。 c = tf.get_variable("v", [1]) #c.name == "one/v:0" 成功共享引用了已有变量，因为设置了reuse=True
7) tf.train.init_from_checkpoint (ckpt_dir_or_file,assignment_map) #从checkpoint中加载已训练好的参数
ckpt_dir_or_file：.ckpt模型的路径 assignment_map：字典类型，key为要恢复的变量名
二、梯度相关
1）global_step
global_step在训练中是计数的作用，每训练一个batch就加1。主要在滑动平均、优化器、指数衰减学习率等方面有用到。实际意义就是代步全局的步数，像一个钟表一样告知优化函数在进行到多少步应该进行什么操作。例如：指数衰减的学习率就是随着迭代步数的增加而逐步衰减的。
2）tf.gradients()
计算梯度的函数，要注意的是，xs中的x必须要与ys相关，不相关的话，会报错。
w1 = tf.Variable([[1,2]]) res = tf.matmul(w1,[[2],[1]]) grads = tf.gradients(res,w1) with tf.Session() as sess: tf.global_variables_initializer().run() print(sess.run(grads)) 因为res=2*x+y ，所以 返回结果：[2,1]
3）tf.clip_by_global_norm (t_list, clip_norm, use_norm=None, name=None) 梯度截取函数，梯度截取主要是为了防止梯度爆炸。
t_list 是梯度张量， clip_norm 是截取的比率
截取公式：t_list[i] * clip_norm / max(global_norm, clip_norm)
其中global_norm = sqrt(sum([l2norm(t)**2 for t in t_list]))，global_norm 是所有梯度的平方和，如果 clip_norm > global_norm ，就不进行截取。
三、优化相关
1) tf.train.GradientDescentOptimizer() 使用随机梯度下降算法，使参数沿着 梯度的反方向，即总损失减小的方向移动，实现更新参数
minimize()用法
opt = GradientDescentOptimizer(learning_rate=0.1) # Add Ops to the graph to minimize a cost by updating a list of variables. # "cost" is a Tensor, and the list of variables contains tf.Variable objects. opt_op = opt.minimize(cost, var_list=<list of variables>) # Execute opt_op to do one step of training: opt_op.run()
minimize包含两个步骤：
① 梯度计算
② 将计算出来的梯度应用到变量的更新中
这两个步骤也可以拆开使用，拆开的好处是，可以对计算的梯度进行限制，防止梯度消失和爆炸。
创建一个optimizer. opt = GradientDescentOptimizer(learning_rate=0.1) # 计算<list of variables>相关的梯度 grads_and_vars = opt.compute_gradients(loss, <list of variables>) # grads_and_vars为tuples (gradient, variable)组成的列表。 #对梯度进行想要的处理，比如cap处理 capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars] # 令optimizer运用capped的梯度(gradients) opt.apply_gradients(capped_grads_and_var
-
使用函数compute_gradients()计算梯度
-
按照自己的愿望处理梯度
-
使用函数apply_gradients()应用处理过后的梯度
2) tf.train.AdamOptimizer() 是利用自适应学习率的优化算法
Adam 算法和随 机梯度下降算法不同。随机梯度下降算法保持单一的学习率更新所有的参数,学习率在训练过程中并不会改变。而 Adam 算法通过计算梯度的一阶矩估计和二 阶矩估计而为不同的参数设计独立的自适应性学习率,也就是学习率可以动态调整。
四、其它
with关键字可以让在这个上下文环境中的操作都在control_inputs 执行。with tf.control_dependencies([train_step, variable_averages_op]): train_op = tf.no_op(name='train')
train_op运行之前必须先执行train_step，variable_averages_op。tf.no_op()表示执行完 train_step, variable_averages_op 操作之后什么都不做。
2）tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None)
- x：输入
- keep_prob：保留比例。 取值 (0,1] 。每一个参数都将按这个比例随机变更
3）tf.layers.dense(
inputs, #输入该网络层的数据
units, #输出的维度大小，改变inputs的最后一维
activation=None, #激活函数，即神经网络的非线性变化,None的话就表示线性 。eg:tf.tanh
use_bias=True, #使用bias为True（默认使用），不用bias改成False即可，是否使用偏置项
kernel_initializer=None, ##卷积核的初始化器
bias_initializer=tf.zeros_initializer(), ##偏置项的初始化器，默认初始化为0
kernel_regularizer=None, ##卷积核的正则化，可选
bias_regularizer=None, ##偏置项的正则化，可选
activity_regularizer=None, ##输出的正则化函数
kernel_constraint=None,
bias_constraint=None,
trainable=True,
name=None, ##层的名字
reuse=None ##是否重复使用参数)
该函数表示添加了一个全连接层。