Tether发布跨平台BitNet LoRA框架，十亿参数模型可在消费级设备完成微调

PANews 3月21日消息，据官方公告，Tether 宣布推出 QVAC Fabric 中的跨平台 BitNet LoRA 微调框架，实现对 Microsoft BitNet（1-bit LLM）的训练与推理优化。该框架显著降低算力与内存需求，使十亿参数级模型可在笔记本、消费级 GPU 及智能手机上完成训练与微调。

该方案首次实现 BitNet 模型在移动端 GPU（包括 Adreno、Mali 及 Apple Bionic）上的微调，测试显示，125M 参数模型可在约 10 分钟内完成微调，1B 模型约 1 小时级别完成，甚至在手机端可扩展至 13B 参数模型。

此外，该框架支持 Intel、AMD 及 Apple Silicon 等异构硬件，并首次实现非 NVIDIA 设备上的 1-bit LLM LoRA 微调。性能方面，BitNet 模型在移动 GPU 上的推理速度较 CPU 提升 2 至 11 倍，同时在显存占用上较传统 16-bit 模型最高降低约 77.8%。

Tether 表示，该技术有望打破对高端算力与云基础设施的依赖，推动 AI 训练向去中心化与本地化发展，并为联邦学习等新型应用场景提供基础。