近日,PyTorch 创始人 Soumith Chintala 在PyTorch官网宣布称,PyTorch 作为一个顶级项目,将正式转移到 Linux 基金会(LF),名称为 PyTorch 基金会。 PyTorch 诞生于 2017 年 1 月,由 Facebook 人工智能研究院(FAIR)推出,是一个基于 Torch 的 Python 开源机器学习库,可用于自然 ...
随着超大规模深度学习模型逐渐成为 AI 的趋势,如何在有限的 GPU 内存下训练这些模型成为了一个难题。 本文将介绍来自加州伯克利大学的 ActNN,一个基于 PyTorch 的激活压缩训练框架。在同样的内存限制下,ActNN 通过使用 2 bit 激活压缩,可以将 batch size 扩大 6-14 ...
以后,Keras 适用的框架只会越来越多。 Keras 出新库了,这次是 Keras Core,我们可以将其理解为 Keras 3.0 预览版,预计今年秋天正式发布。 总结而言,这次 Keras Core 对 Keras 代码库进行了完全重写,除了 TensorFlow 之外,它还将 Keras API 引入 JAX 和 PyTorch。 现在,Keras ...