2021年里AI迅猛发展,杰出演算法不断涌现,令他们目不暇接。
而或者说要将那些演算法同时实现,很大免不了Python那个非主流机器学习词汇的护持。
去年数十家子公司和科学研究组成员都面世了一连串外置的高效能开放源码库,当中还鲜有许多升级换代的文艺作品。
在这儿将科孔出最差的10名,致力帮你化解各式各样难题。
假如你还在为数学模型体能训练中的“文书工作”郁闷,那就快上看哈哈。
1. Awkward Array
依照非官方如是说,Awkward Array用作冗余的、大小不等的统计数据,主要包括任一宽度的条目、历史记录、混和的类别和缺位统计数据,采用出来类似于NumPy。
看出来像改良版的NumPy呀。
居然,相同宽度的字符串能间接放到一同演算。
因此,非官方则表示Awkward Array不但采用出来更方便快捷,在速率和缓存上也有数量级的竞争优势。
看一看呢能精心安排上了~
https://pypi.org/project/awkward/
2. Jupytext
坚信他们对Jupyter Notebook都不孤单。
当你有了Jupytext那个小应用程序就能将Jupyter Notebook和IDE轻松紧密结合,听出来呢很棒!
从此Jupyter Notebook能被存储为Markdown文件或多种词汇的脚本文件。
Jupytext能做的事主要有:
Jupyter Notebook的版本控制在你喜欢的文本编辑器中编辑、合并或重构Notebook在Notebook上采用Q&A检查在Python中采用的样子:
此项目在Github上已有5k+star。
https://github.com/mwouts/jupytext
3. Gradio
比Streamlit还轻量的UI设计库,Gradio让你轻松在浏览器中“玩转”你的数学模型,能间接在浏览器中拖放图片,粘贴文字,录制声音,等等。
只要将launch()函数中的参数设置为share=True,还能得到一个可分享的网址,拿到链接的朋友在电脑和手机端都能打开,活脱脱就是一个小程序。
时常需要做Demo的小伙伴快看出来吧,此项目在Github上已有4.5k+star。
https://github.com/gradio-app/gradio
4. Hub
那个Hub在统计数据管理和统计数据预处理上可是一把好手。
它能处理任何类别,任何大小的统计数据,因此因为统计数据储存在云端上,所以能无缝在任何机器上访问。
被压缩为二进制字节的统计数据能被存储在任何地方,因此只
Hub贴心地提供了重要API,支持统计数据在常用工具(PyTorch等)上的采用,统计数据版本控制,统计数据转换等功能。
此项目在github上已有4.1k+star。
https://github.com/activeloopai/Hub
5. AugLy
AugLy是facebook最新面世的统计数据增强库,同时支持语音,文本,图像和视频类别的统计数据,包含了100多种增强方式。
统计数据对于数学模型体能训练至关重要,而标注大规模统计数据十分困难。由于人力资源,和数学模型特性的限制,统计数据增强的应用越来越广泛。
AugLy的优点:
处理类别更为全面。其他的统计数据增强库,例如Albumentations和NVIDIA DALI,主要负责图像相关统计数据的处理,文字统计数据不支持。处理方式十分人性化。AugLy能将一张图片做成备忘录,在图片/视频上叠加文字/Emojis,转发社交媒体上的截图,还能帮助你处理诸如拷贝检测、仇恨言论检测或版权侵权等难题。此项目在Github上已有4.1k+star。
https://github.com/facebookresearch/AugLy
6. Evidently
Evidently是用来监测数学模型效果的工具,可从Pandas DataFrame或csv文件中生成交互式可视化报告和JSON格式的效果简介。在Jupyter Notebook中能使用。
目前能提供6种报告:统计数据漂移、数值目标漂移、分类目标漂移、回归数学模型性能、分类数学模型性能和概率分类数学模型性能。
此项目在Github上已有1.8k+star。
https://github.com/evidentlyai/evidently
7. YOLOX
假如你熟悉YOLO的话,那你或许会对旷视去年面世的YOLOX感兴趣。
YOLO就是那个目标检测演算法,能被采用在汽车自动驾驶等前沿技术中。
而YOLOX是YOLO的无锚版本,设计更简单,但性能更好!它的目标是在科学研究界和工业界之间架起一座桥梁,同时弥合两方之间的差距。
那个Github上的开放源码项目在短短半年内已获得5.2k+star。
https://github.com/Megvii-BaseDetection/YOLOX
8. LightSeq
正如它的名字一样,LightSeq是一款由字节跳动开发的支持BERT、GPT、Transformer等众多模型的超快推理引擎。
能看到它的表现,比FasterTransformer还要Fast。
LightSeq支持的数学模型也是非常全面。
总之就是两个字“好用”。此项目在Github上已有1.9k+star。
https://github.com/bytedance/lightseq
9. Greykite
想预测COVID-19的恢复速率吗?那就上看一看LinkedIn为了自家时间序列预测需求开发的Greykite吧。
功能全面(多种时间趋势),界面直观,预测速率快和可扩展性强是它最大的亮点。
被应用在上面的三大演算法:
Silverkite (Greykite’s flagship algorithm)
Facebook Prophet
Auto Arima感兴趣的话就去科学研究看哈哈,此项目在Github上已有1.4k+star。
https://github.com/linkedin/greykite
10. Jina and Finetuner
如今,在搜索引擎等应用上,语义识别的地位越来越高,因为它能有效避免字词匹配的局限。
不过语义识别涉及的神经网络可能会让很多人感到头大,Jina和Finetuner能帮你化解那些难题。
Jina是一个神经搜索框架,使任何人都能在几分钟内建立可扩展的深度学习搜索应用程序。
Finetuner配合Jina帮助你对神经网络进行调参,以获得神经搜索任务的最差结果。
Jina和Finetuner适合没什么经验,又想尝试的朋友。