Magnitude推理引擎瞄准本机加速
Magnitude是一款面向智能体的开源推理引擎，主打根据用户设备编译和调优内核。项目在 Hacker News 发布后受到关注；其代码库采用 Apache 2.0 许可。
针对硬件调优，而非通用预编译
项目称，这种设备端调优可让开源模型运行速度最高达到 llama.cpp 的两倍，并列出 Metal 上解码快 92%、CUDA 上快 19% 的结果。这些是项目方报告的比较数据；现有材料没有提供测试配置、模型及复现方法，因此不宜视为所有设备上的普遍保证。
支持范围与实际限制
Magnitude提供 macOS、Windows 和 Linux 桌面应用，覆盖 Apple Silicon、NVIDIA、AMD GPU，也支持仅用 CPU 的设备。用户可从应用中下载推荐模型，并连接 Pi、OpenCode、Hermes、Codex 等智能体；其他工具可通过 OpenAI 兼容 API 接入。
项目还称，提示词、文件和模型保留在本机，模型下载完成后无需联网；内存管理和并发会话也被列为设计重点。不过，设备能力仍决定可运行模型的大小，性能取决于具体硬件和模型。对于考虑采用它的开发者，关键待验证问题是：在自己的工作负载上，基准优势能否复现，以及当前支持的模型是否满足需求。