Llamafile 更新：将 AMD Ryzen CPU 的性能提升了 10 倍

Llamafile 的最新更新利用 AVX-512 功能将 AMD Ryzen CPU 的性能提升了 10 倍。

借助 Llamafile 的最新更新，在本地系统上运行庞大的 LLM 模型变得更容易了，采用 AVX-512 的 AMD Ryzen CPU 性能提升了 10 倍。

据 Phoronix 报道，Llamafile 的最新更新现在支持AVX-512指令集，支持 AVX-512 的 CPU 在使用该软件时可获得巨大的性能提升。据悉，AMD 的 Zen 4 "Ryzen" CPU 在使用新更新后的提示评估速度将提高 10 倍，最终使该工具的 LLM 性能更加高效。

对于那些不了解 Llamafile 的人来说，它只需部署一个可执行文件，就能将 LLM 模型与运行该模型所需的库结合起来。Mozilla Ocho 开发了这一工具，旨在通过利用 CPU 和 GPU 的执行能力，让更多人了解 LLM。但现在，Llamafile 仍处于早期阶段，因此还存在一些不准确的地方，我们相信一旦边缘计算的发展势头强劲，这些问题很快就会得到解决。

新的性能升级尚未经过测试，但 Phoronix 表示，他们计划未来在 AMD 和 Intel 系统上测试新的 Llamafire 0.7。请注意，AMD 的 Ryzen CPU 是唯一支持 AVX-512 指令的消费级芯片，而英特尔已经放弃了支持，因为这会影响其至强芯片的销售。这使得 AMD 的 Ryzen 平台对于希望运行 AVX-512 应用程序的用户来说更具优势。

你可以通过 GitHub 访问最新版本：

https://github.com/Mozilla-Ocho/llamafile/releases/tag/0.7