ArXiv最受欢迎开源深度学习框架榜单:TensorFlow第一,PyTorch第四

2023-06-02 0 1,039

原副标题:ArXiv最畅销开放源码广度自学架构名列榜:TensorFlow第三,PyTorch第三

2018新智元AI控制技术首脑会议第三期 21天】

早鸟票早已销售一空,现正式宣布步入超额票期。 将要于上海举行的2018年我国AI开年颁奖典礼——2018新智元AI控制技术首脑会议上,他们应邀到了梅克尔梅克尔的自然科学高级顾问、诺贝尔经济学奖惟一P43EI235SJ主持人、轻工业4.0传奇人物、当今世界当今世界顶级语义处置专家Wolfgang Wahlste教授。Wah

总貌镜像:

http://www.huodongxing.com/event/8426451122400

译者:李敏

【新智元编者按】Kears译者François Chollet才刚在Twitter贴出前段时间四个月在arXiv提及的广度自学架构,TensorFlow一切顺利名列第三,Keras名列第三。随即是Caffe、PyTorch和Theano,再度是MXNet、Chainer和CNTK。

Keras译者François Chollet才刚在Twitter贴出两张相片,是近四个月来arXiv上提及的广度自学开放源码架构名列:

TensorFlow名列第三,那个也许并一切顺利,Keras名列第三,随即是Caffe、PyTorch和Theano,再度是MXNet、Chainer和CNTK。

Chollet在推文中补充,Kears的使用在产业界和整个数据自然科学圈中最占主流,产业既包括大公司也包括创业公司。不过,在研究社区,Keras的份额要小很多。

那个统计结果是使用Google Search Index得到的。

那个名列让人想起来之前François Chollet晒的另外一次名列(时间范围是2017年4月到7月,综合Github上issue、fork、contributors等数据得到的活跃度),也是TensorFlow和Keras名列第三和第三。

不过,在Github的那次名列,MXNet、PyTorch的名次明显上升。

针对近四个月来arXiv的广度自学架构名列结果,有人评论,他很遗憾Theano名列如此靠后,Theano是他的第四个架构。

广度自学的图景总是在不断变化,Theano是第四个被广泛采用的广度自学架构,由Yoshua Bengio领导的MILA创建和维护。但2017年9月,MILA宣布将在2018年终止Theano的开发和维护。Theano的离开不禁让人感慨,这也是第四个退出舞台的流行架构。

TensorFlow性能并非最优,为何如此畅销?粉丝团!

但需要指出,根据香港香港浸会大学褚晓文教授团队在2017年推出广度自学工具评测的研究报告《 基准评测 TensorFlow、Caffe、CNTK、MXNet、Torch 在三类流行广度神经网络上的表现(论文)》,TensorFlow的性能在有些时候表现并非最佳:

仅用一块GPU,FCN上Caffe、CNTK和Torch比MXNet和TensorFlow表现更好;CNN上MXNet表现出色,尤其是在大型网络时;而Caffe和CNTK在小型CNN上同样表现不俗;对于带LSTM的RNN,CNTK速度最快,比其他工具好上5到10倍。 通过将训练数据并行化,这些支持多GPU卡的广度自学工具,都有可观的吞吐量提升,同时收敛速度也提高了。多GPU卡环境下,CNTK平台在FCN和AlexNet上的可扩展性更好,而MXNet和Torch在CNN上相当出色。

这一结果,反而凸显出TensorFlow和谷歌强大的号召力,以及早已形成的生态圈的积极拉动影响

在2017年初的这份报告中,褚晓文教授指出,硬件和软件同样重要,仅仅有硬件是不够的,没有好的软件,硬件的效能发挥不出来,这也是为什么今天有这么多广度自学软件,它们的性能有如此大的差异。

“Torch是很流行的软件,2002年就有了,那时候还没有广度自学。后来把广度自学做进去了。2014年就是Caffe,微软2015年开放源码了CNTK,接下来谷歌也开放源码了他们相应的开发平台。第三行是它的粉丝数量,。最底下是开发平台的维护情况,随着硬件的提升,新的算法的提出,每个软件都是要不断的更新换代的,TensorFlow的更新是非常频繁的,基本上每一两个月就会有一个新的更新,代表着他们对软件平台的投入。

而Keras,则是谷歌在2017年宣布,将Keras作为TensorFlow的高级API。这意味着Keras被包含在TensorFlow版本中及时更新。除了TensorFlow,Keras也可以使用Theano或者CNTK作为后端。

其他架构和公司合纵连横——我国架构何时才能上榜?

大家可以点击上面的镜像仔细看TensorFlow、Caffe、PyTorch、MXNet等架构在各种应用场景下的性能。他们性能更好,但为什么用的人还不是最多?为了解决那个问题,开放神经网络交换(ONNX)格式的发布于2017年9月横空出世。

ONNX最初由微软和Facebook联合发布,后来亚马逊也加入进来,并在12月发布了V1版本。ONNX是一个表示广度自学模型的开放格式。它使用户可以更轻松地在不同架构之间转移模型。例如,它允许用户构建一个PyTorch模型,然后使用MXNet运行该模型来进行推理。

开放神经网络交换(ONNX)的Github页面

ONNX由微软、亚马逊和Facebook等公司共同发起,宣布支持ONNX的公司还有AMD、ARM、华为、 IBM、英特尔、Qualcomm等。谷歌不在那个阵营中并不令人惊讶。ONNX从一开始就支持Caffe2,Microsoft Cognitive Toolkit,MXNet和PyTorch,但与其他开放源码项目一样,社区也早已为TensorFlow添加了一个转换器。

在你争我抢,合纵连横之下,广度自学架构的流行趋势似乎很难预测。不过,我国的开放源码架构,什么时候才能在这样的名列上显露自己的名字呢?

2018新智元AI控制技术首脑会议第三期 21天】

首脑会议门票火热抢购,总貌镜像:

http://www.huodongxing.com/event/8426451122400

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务