本文节选来自新智元微信公众号文章

 

目录

TensorFlow

Theano、Pylearn2 及其生态系统

Torch

Caffe

CNTK

DSSTNE、MXNet

 

TensorFlow

目前 TensorFlow 还不支持所谓的“内联(inline)”矩阵运算,必须要复制矩阵才能对其进行运算。复制非常大的矩阵会导致成本全面偏高。TF 运行所需的时间是最新深度学习工具的四倍。谷歌表示正在解决这一问题。

和大多数深度学习框架一样,TensorFlow 是用一个 Python API 编写的,通过 C/C++ 引擎加速。这种解决方案并不适合 Java 和 Scala 用户群。

TensorFlow 的用途不止于深度学习。TensorFlow 其实还有支持强化学习和其他算法的工具。

谷歌似乎也已承认 TF 的目标是招募人才。众所周知,他们最近公布了为期一年的谷歌大脑(Google Brain)人才培训项目。真是明智的举措。

TensorFlow 不提供商业支持,而谷歌也不太可能会从事支持开源企业软件的业务。谷歌的角色是为研究者提供一种新工具。

和 Theano 一样,TensforFlow 会生成计算图(如一系列矩阵运算,例如 z = simoid(x),其中 x 和 z 均为矩阵),自动求导。自动求导很重要,否则每尝试一种新的神经网络设计就要手动编写新的反向传播算法,没人愿意这样做。在谷歌的生态系统中,这些计算图会被谷歌大脑用于高强度计算,但谷歌还没有开放相关工具的源代码。TensorFlow 可以算是谷歌内部深度学习解决方案的一半。从企业的角度看,许多公司需要思考的问题在于是否要依靠谷歌来提供这些工具。

 

TensorFlow 的利与弊

(+) Python + NumPy

(+) 与 Theano 类似的计算图抽象化

(+) 编译时间比 Theano 快很多

(+) 用 TensorBoard 进行可视化

(+) 同时支持数据并行和模型并行

(-) 速度比其他框架慢

(-) 比 Torch 笨重许多;更难理解

(-) 已预定型的模型不多

(-) 计算图纯粹基于 Python,所以速度较慢

 

Theano及其生态系统

深度学习领域的学术研究者大多依赖 Theano,Theano 是深度学习框架中的元老,用 Python 编写。Theano 和 NumPy 一样,是处理多维数组的学习库。Theano 可与其他学习库配合使用,非常适合数据探索和研究活动。

现在已有大量基于 Theano 的开源深度学习库,包括 Keras、 Lasagne 和 Blocks。这些学习库试着在 Theano 有时不够直观的界面之上添加一层便于使用的 API。

相比之下,Deeplearning4j 的目标是成为深度学习领域的 Scikit-learn,力求以可扩展、多个 GPU 或 CPU 并行的方式让尽可能多的控制点实现自动化,在需要时与 Hadoop 和 Spark 集成。

Theano 的 利与弊

(+) Python + NumPy

(+) 计算图是良好的抽象化方式

(+) RNN 与计算图匹配良好

(+) 高级的包装界面(Keras、Lasagne)减少了使用时的麻烦

(-) 原始的 Theano 级别偏低

(-) 错误信息可能没有帮助

(-) 大型模型的编译时间可能较长

(-) 比 Torch 笨重许多;更难理解

(-) 对已预定型模型的支持不够完善

 

Torch

Torch 是用 Lua 编写的计算框架,支持机器学习算法。谷歌 DeepMind、Facebook 等大型科技公司使用 Torch 的某些版本,由内部团队专门负责定制自己的深度学习平台。Lua 是上世纪九十年代早期在巴西开发的多范例脚本语言。

Torch7 虽然功能强大,但其设计并不适合在两个群体中大范围普及,即主要依赖 Python 的学术界,以及普遍使用 Java 的企业软件工程师。Deeplearning4j用Java编写,反映了我们对行业应用和使用便利的重视。我们认为可用性是阻碍深度学习实施工具广泛普及的限制因素。我们认为可扩展性应当通过Hadoop和Spark这样的开源分布式运行时系统来实现自动化。我们还认为,从确保工具正常运作和构建社区两方面来看,提供商业支持的开源框架是最恰当的解决方案。

 

Torch 的利与弊:

(+) 大量模块化组件,容易组合

(+) 很容易编写自己的层类型并在GPU上运行

(+) Lua.;) (大多数学习库的代码是Lua,容易读取)

(+) 有很多已预定型的模型!

(-) Lua

(-) 通常需要自己编写定型代码(即插即用相对较少)

(-) 不适合递归神经网络

 

Caffe

Caffe 是一个广为人知、广泛应用的机器视觉库,将Matlab实现的快速卷积网络移植到了 C 和 C++ 平台上。Caffe 不适用于文本、声音或时间序列数据等其他类型的深度学习应用。与本文提到的其他一些框架相同,Caffe 选择了 Python 作为其 API。

Deeplearning4j 和 Caffe 都可以用卷积网络进行图像分类,这是最先进的技术。与 Caffe 不同,Deeplearning4j 支持任意芯片数的 GPU 并行运行,并且提供许多看似微不足道,却能使深度学习在多个并行 GPU 集群上运行得更流畅的功能。虽然在论文中被广泛引述,但 Caffe 主要用于为其 Model Zoo 网站提供已预定型的模型。Deeplearning4j 正在开发将 Caffe 模型导入 Spark 的开发解析器。

Caffe 的利与弊:

(+) 适合前馈网络和图像处理

(+) 适合微调已有的网络

(+) 定型模型而无需编写任何代码

(+) Python界面相当有用

(-) 需要用C++ / CUDA编写新的GPU层

(-) 不适合递归网络

(-) 用于大型网络(GoogLeNet、ResNet)时过于繁琐

 

CNTK

CNTK 是微软的开源深度学习框架。CNTK 的全称是“计算网络工具包”。此学习库包括前馈 DNN、卷积网络和递归网络。CNTK 提供基于 C++ 代码的 Python API。虽然 CNTK 遵循一个比较宽松的许可协议,却并未采用 ASF 2.0、BSD 或 MIT 等一些较为传统的许可协议。

 

DSSTNE、MXNet

亚马逊的深度可伸缩稀疏张量网络引擎又称 DSSTNE,是用于机器学习和深度学习建模的学习库。它是众多最新的开源深度学习库之一,在 Tensorflow 和 CNTK 之后发布。 DSSTNE 主要用 C++ 写成,速度较快,不过吸引到的用户群体规模尚不及其他学习库。

由此,亚马逊首席技术官 Werner Vogels 在上周二示,亚马逊网络服务公司(AWS)刚刚选择 MXNet 作为其最主要的深度学习框架。