TensorFlow 源代码初读感受

发布时间:2017-3-28 10:34:44 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"TensorFlow 源代码初读感受 ",主要涉及到TensorFlow 源代码初读感受 方面的内容,对于TensorFlow 源代码初读感受 感兴趣的同学可以参考一下。

把自己微博发的文章:http://www.weibo.com/1804230372/En7PdlgLb?from=page_1005051804230372_profile&wvr=6&mod=weibotime&type=comment 也转到博客来,算是自己写的很短的一篇博客了。

花了一些时间看了一下TensorFlow 核心(core)部分的源代码,主要是C++的部分。除了C++ 11的代码实在有些烧脑以外,感叹一下TensorFlow的架构设计得真不错:

首先TensorFlow core要解决的问题全部集中在了图上:每个节点(node)就是一个操作(op),比如说矩阵乘法,每条边(edge)就是操作的输入也就是数据或者依赖关系(称为control edge)。每个op对应了不同的实现,也被称为kernel,比如说用GPU去做矩阵运算的实现,或者FPGA去做加法的实现等等。

然后就是如何优化了:
1) 首先是一个图的变换操作:用户输入的图根据op、kernel和输入/中间数据,被分布到不同的机器的硬件(device)上。这样把一个大图分拆成为了几个子图(每个device上一个?)。
2) 然后对分拆之后的子图再进行进一步的优化,比如说把那些无法访问的节点(dead node)删掉,把那些输入、输出、操作都一样的子图找出来防止重复计算 (Common Subexpression Elimination)等等
3)最后就是一些下层模块的优化,比如说RPC怎么做更快,Kernel怎么实现更优化等等。

这样的架构设计基本上能保证
1)不同层级之间的耦合很小,不至于一个改动牵一而发动全身。
2)项目的扩展性很好,有很少的瓶颈。比如说完全可以有一个小团队专门进行RPC的实现(RDMA),或者说用FPGA来实现不同op的kernel等等。这样可以完全让一个上百人的团队来并行的开发kernel和周边的东西。

目前读下来唯一觉得可能会导致扩展性的地方是Session还有图优化部分的实现,很难让大团队能够在这个部分并行工作,不过这部分代码也不是劳动密集型的改动,所以看起来也没什么大问题


上一篇:zz c++ Useful resources
下一篇:使用ssh连接远程主机

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。

好贷网好贷款