3 月 25 日消息,软件工程师 Andrew Rossignol 昨日发布博文,在一台 2005 年发布的 PowerBook G4 笔记本电脑上,成功运行了生成式 AI 模型。
这台设备的硬件配置极为有限,仅搭载了 1.5GHz 的 PowerPC G4 处理器和 1GB 内存,但他通过优化和开源项目实现了这一突破。
PowerBook G4 的硬件配置远低于现代 AI 模型的要求,但 Rossignol 通过移植开源项目 llama2.c,并利用 PowerPC 的 AltiVec 向量扩展技术,成功加速了模型的推理性能。
查询公开资料,llama2.c是一个轻量级的开源项目,旨在让大型语言模型(LLMs)能够在资源有限的设备上运行,Rossignol 的实验展示了该项目的潜力。