“俩人拼出40万的Mac Studio缝合怪”指的是由Exo Labs的两人团队打造的通过开源工具将多台顶配Mac Studio串联而成的“桌面级AI集群”。苹果发布的M3 Ultra顶配处理器版本的Mac Studio，拥有512GB统一内存、819GB/s的内存带宽、80核GPU等强大配置。Exo Labs的团队将4台这样的顶配Mac Studio通过Thunderbolt 5串联起来，形成了一个强大的计算集群。其账面数据十分惊人，拥有128核CPU、240个GPU核心、2TB统一内存，总内存带宽超过3TB/s。该团队还开发了分布式模型调度平台Exo V2，它能根据内存与带宽状态将模型自动拆分，部署在最合适的节点上。通过这一平台，该集群能够实现大模型加载、并行推理、私有文档RAG问答、轻量微调和等功能，性能相当于一台小型超算，但从体积上仍然可归到“家用级”。这套由4台顶配Mac Studio组成的系统，硬件成本较高，512GB顶配版本价格不菲，整套系统成本约40万人民币。不过，与传统服务器方案相比，它在功耗、噪音、体积等方面具有明显优势。要在传统服务器方案中实现同等性能，至少需要部署20张A100显卡，服务器加网络设备成本超200万人民币，功耗达数千瓦，还需独立机房与制冷系统。
|
|
|标签|爬虫xml|爬虫txt|新闻魔笔科技XinWen.MoBi - 海量语音新闻!
( 粤ICP备2024355322号-1|
粤公网安备44090202001230号 )
