自从大语言模型开始流行以来，一直在AI领域深耕细作的NVIDIA直接获得了大量订单，导致产品供不应求，人们也一直在寻找更便宜的方案。这给了我们评估许多其它方案的机会，例如我前些时尝试搭建的W7900方案就是一个可行的替代。
碰巧的是，Apple刚好在LLM大火的时间点前后接连发布M1 / M2 Ultra，最大带来了128 / 192 GB且带宽高达800 GB/s的内存。考虑到本地运行LLM最大的瓶颈是显存容量和显存带宽，两者似乎是一拍即合，在数码媒体的渲染下创造了多个类似“Mac Studio > 6 * RTX 4090”的名场面。
事实真的是如此吗？经过实际测试，我发现尽管Apple Silicon可以将超大显存装进常规轻薄笔记本电脑，但在运行LLM方面存在各种妥协，使得苹果平台并没有比NVIDIA方案的性价比更高。
devil’s in the details
本文我们使用一组实测数据来介绍目前的现状。 继续阅读