#tensorflow 中從ckpt文件中恢復(fù)指定的層或?qū)⒅付ǖ膶硬贿M(jìn)行恢復(fù):
#tensorflow 中不同的layer指定不同的學(xué)習(xí)率
 
with tf.Graph().as_default():
		#存放的是需要恢復(fù)的層參數(shù)
	 variables_to_restore = []
	 #存放的是需要訓(xùn)練的層參數(shù)名,這里是沒恢復(fù)的需要進(jìn)行重新訓(xùn)練,實(shí)際上恢復(fù)了的參數(shù)也可以訓(xùn)練
  variables_to_train = []
  for var in slim.get_model_variables():
   excluded = False
   for exclusion in fine_tune_layers:
   #比如fine tune layer中包含logits,bottleneck
    if var.op.name.startswith(exclusion):
     excluded = True
     break
   if not excluded:
    variables_to_restore.append(var)
    #print('var to restore :',var)
   else:
    variables_to_train.append(var)
    #print('var to train: ',var)
 
 
  #這里省略掉一些步驟,進(jìn)入訓(xùn)練步驟:
  #將variables_to_train,需要訓(xùn)練的參數(shù)給optimizer 的compute_gradients函數(shù)
  grads = opt.compute_gradients(total_loss, variables_to_train)
  #這個函數(shù)將只計(jì)算variables_to_train中的梯度
  #然后將梯度進(jìn)行應(yīng)用:
  apply_gradient_op = opt.apply_gradients(grads, global_step=global_step)
  #也可以直接調(diào)用opt.minimize(total_loss,variables_to_train)
  #minimize只是將compute_gradients與apply_gradients封裝成了一個函數(shù),實(shí)際上還是調(diào)用的這兩個函數(shù)
  #如果在梯度里面不同的參數(shù)需要不同的學(xué)習(xí)率,那么可以:
 
  capped_grads_and_vars = []#[(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]
  #update_gradient_vars是需要更新的參數(shù),使用的是全局學(xué)習(xí)率
  #對于不是update_gradient_vars的參數(shù),將其梯度更新乘以0.0001,使用基本上不動
 	for grad in grads:
 		for update_vars in update_gradient_vars:
 			if grad[1]==update_vars:
 				capped_grads_and_vars.append((grad[0],grad[1]))
 			else:
 				capped_grads_and_vars.append((0.0001*grad[0],grad[1]))
 
 	apply_gradient_op = opt.apply_gradients(capped_grads_and_vars, global_step=global_step)
 
 	#在恢復(fù)模型時:
 
  with sess.as_default():
 
   if pretrained_model:
    print('Restoring pretrained model: %s' % pretrained_model)
    init_fn = slim.assign_from_checkpoint_fn(
    pretrained_model,
    variables_to_restore)
    init_fn(sess)
   #這樣就將指定的層參數(shù)沒有恢復(fù)