tensorboardX笔记:理解graph

        TensorBoardX中的Graph不同于一般的神经网络结构图,它是一种计算图。

        图中每个节点要么是Tensor本身,要么是运算符;每一条边要么代表Tensor的流动,要么代表控制关系。

        这张图完备的表达了通过代码定义的神经网络中所有计算步骤,可以据此说明前向计算、误差反向传播、梯度下降调整参数等过程。

        在实际工作中,理解了上述含义,就可以将Graph利用起来,在Debug过程中可视化的发现网络计算流程中的问题。复杂程序的调试总是困难的,引入可视化工具对于调试效率会非常有帮助。

1 图中基本元素

命名空间 层次较高的节点(node)
操作符节点

他代表一个操作,或者说是运算,函数

输入的张量是这个函数的自变量,通过函数运算后输出。

常量 他代表一个常量,也就是一个常数
数据流边

这里面带箭头的线叫dataflow edge,是数据流边

表示张量数据流向箭头所指的节点

线段的宽度代表了张量的维度,维度越多越宽。

如果线段变成了虚线,就变成了控制依赖边,表示箭头尾部对箭头头部的控制、依赖关系。

扫描二维码关注公众号,回复: 13417106 查看本文章

 2 举例

以 pytorch笔记——简易回归问题_UQI-LIUWJ的博客-CSDN博客 为例

 把Linear 展开,有:

猜你喜欢

转载自blog.csdn.net/qq_40206371/article/details/121573408