环境配置,运行官方demo请参考链接:【Tensorflow】Tensorflow serving模型部署(一):运行官方demo。
TensorFlow Serving中一个servable的模型目录中是一个pb格式文件和一个名为variables的目录,因此需要在模型保存时就保存好可部署的模型格式,或者将已经训练好的checkpoint转换为servable format。
saved_model.pb是MetaGraphDef,它包含图形结构。variables文件夹保存训练所习得的权重。
平常我们使用更多的是f.Saver()保存的模型是checkpoint格式的。
在模型保存时就保存为savedmodel的形式,tensorflow提供了两种方式
一、tf.saved_model.simple_save
tf.saved_model.simple_save(sess, model_path, inputs={'替换成你的输入节点name': 替换成输入变量name}, outputs={'替换成你的输出节点name': 替换成输出变量name})
在simple_save方法中,系统会给一个默认的tag: “serve”,也可以用tag_constants.SERVING这个常量。