Tensorflow加速计算（多GPU和分布式）
1 使用GPU基本操作
在Tensorflow中可以通过tf.device()函数来手动指定运行操作的设备。
对于CPU而言，在默认的情况下，即使的电脑有多个GPU，Tensorflow依然不会区分它们，都是用/cpu:0作为名称。
对于GPU而言，则会使用/gpu:0,/gpu:1,…/gpu:n
Tensorflow提供了一个快捷的方式来查看运行设备： 在tf.ConfigProto中设置log_device_placement=True。
如果在具有GPU的环境中，会有限选择GPU
import tensorflow as tf
a = tf.constant([1.0, 2.0, 3.0], shape=[3], name='a')
b = tf.constant([1.0, 2.0, 3.0], shape=[3], name='b')
c = a + b
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
print(sess.run(c))
[ 2. 4. 6.]
在IDE（pycharm）中还会输出：
add: (Add): /job:localhost/replica:0/task:0/gpu:0
a: (Const): /job:localhost/replica:0/task:0/gpu:0
b: (Const): /job:localhost/replica:0/task:0/gpu:0
显示了执行每一个运算的设备。
当然，可以通过手动指定运行设备来执行某些操作
import tensorflow as tf
with tf.device('/cpu:0'):
a = tf.constant([1.0, 2.0, 3.0], shape=[3], name='a')
b = tf.constant([1.0, 2.0, 3.0], shape=[3], name='b')
with tf.device('/gpu:0'):
c = a + b
with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as sess:
print(sess.run(c))[ 2. 4. 6.]
add: (Add): /job:localhost/replica:0/task:0/gpu:0
b: (Const): /job:localhost/replica:0/task:0/cpu:0
a: (Const): /job:localhost/replica:0/task:0/cpu:0
注：
不是所有的操作都可以放在CPU上运算：
（1） tf.one_hot 就需要在CPU上运行
（2）tf.variable() 函数在GPU上只支持float32 float64和double的参数
为了避免上述问题，tensorflow在tf.ConfigProto中提供了一个参数 allow_soft_placement参数，当设置为True时，如果运算无法有GPU执行，那么Tensorflow会自动将它放在CPU上执行。
虽然GPU可以加速tensorflow的计算，但是一般的不会将所有的计算都放在GPU上。一个比较好的实践时，将计算密集型的运算放在GPU上，将其他操作放在CPU上。