IT之家 10 月 2 日音信，据 PyTorch 新闻稿麻仓优快播，PyTorch 旗下架构优化库 torchao 现已崇敬发布，该优化库主要专注于模子的量化和稀疏性优化，大略在保证性能的同期缩短模子的策画本钱和 RAM 用量，从而扶植模子入手恶果，IT之家附 GitHub 页面地址（点此造访）。

据先容，torchao 提供了一系列优化用具集，不错匡助 LLaMA 3 等流行的 AI 模子扶植性能，其辅助 float8、int4 等低精度数据类型，大略有用减少硬件支出和 RAM 用量。

官方例如，在 LLaMA 3 70B 模子的预考研中，torchao 提供的 float8 考研经由可将模子策画速率扶植 1.5 倍。建造者只需期骗 convert_to_float8_training 函数，即可将模子考研转换为 float8，从而庸碌收场模子高效考研。

在推理方面，torchao 提供多种量化要道，包括权分量化（Weight-Only Quantization）和动态激活量化（Dynamic Activation Quantization），用户不错自有聘用合适的量化政策，以获取最好的模子推感性能。

在稀疏性优化方面， torchao 不错优化模子参数策画恶果，据称可让 ViT-H 模子的推理速率扶植 5%。同期，torchao 还不错将权分量化为 int4，并将键值缓存量化为 int8，可令 LLaMA 3.1 8B 在好意思满的 128K 高下文长度下仅占用 18.9GB 的显存。

麻仓优快播