月之暗面开源 Kimi K3Anthropic 回应开放权重模型之争T 级模型部署成本高昂北京时间 7 月 27 日晚月之暗面 Kimi 正式开放了 K3 的模型权重、技术报告和关键 Infra 技术。几乎同时Anthropic 联合创始人兼首席执行官 Dario Amodei 发布文章回应近期围绕开放权重模型的讨论。Amodei 明确表示Anthropic 公司从未主张禁止开放权重模型。他还称不具备危险能力的开放权重模型是一种公共产品除运行模型所需的算力成本外它们不需要支付其他费用同时能够为企业、开发者和研究人员创造价值。这份声明的背景是Kimi K3 发布以来海外出现针对特定来源开放权重模型实施使用限制的讨论。与此同时多家科技企业公开支持开放权重生态也有观点认为部分闭源模型公司如 Anthropic可能出于商业竞争考虑推动相关限制政策实施。Kimi K3 开源和 Amodei 声明反映出随着模型能力增强开、闭源之争日益激烈且开源趋势难挡。舆论压力下的回应核心主张未变在回应中Amodei 仍从安全方面强调担忧。他主要担心其他国家可能开发出比美国更强大的 AI 模型利用其获得永久性军事优势或对本国人们实施严密压制且这一担忧在美国政府内部广泛认同。在此情况下模型是否开放权重发布、是否被美国企业使用都不重要。其次他担心强大的 AI 模型可能被滥用于网络或生物攻击也可能存在严重对齐问题。开放权重模型确实可能比闭源模型带来更高风险因为很难为其设置有效安全护栏也很难监控其使用情况而且模型权重一旦发布就无法收回。Amodei 补充道但是禁止美国企业使用这些模型并不能解决这一风险因为恶意行为者本来就不太可能是合法经营的美国企业。这样的禁令或许可以保护美国 AI 公司免受竞争但这从来不是我的目标。之后Amodei 给出三个他之前反复提到的主张措施第一不向中国出售高性能芯片或芯片制造设备同时打击通过其他规避手段获取这些芯片的行为。Amodei 称中国国内的先进芯片产能有限因此在 Scaling Laws 的作用下如果无法获得美国芯片中国就无法训练出比美国更强大的模型。第二打击工业规模的蒸馏活动。它可以让中国利用有限的芯片资源训练出远超正常水平的模型从而部分绕过禁令。Amodei 强调我们应当通过政策干预来遏制这种行为。全面禁止开放权重模型既不是正确的解决办法也不是我们曾经主张过的措施。第三所有能力足够强的模型无论开放还是闭源都应接受强制性安全测试。他强调要使安全测试真正有效就必须在全球范围内执行。Amodei 针对性未变只是减少了对开源模型的攻击。他此次公开正式回应的另一原因是前几天黄仁勋转发的《Open Weights and American AI Leadership开放权重与美国 AI 领导力》公开信带来的海外舆论压力。7 月 24 日黄仁勋在 X 发布首条帖子并转发该公开信呼吁美国政府不要限制可下载的 AI 模型。信中表示开放权重能降低供应商锁定风险提升企业对模型、数据和基础设施的控制权。公开信最初由 25 家公司签署随后迅速扩至 50 家新增签署方包括 OpenAI、Google、AMD、Cisco、Cloudflare、GitHub、Block 和 Ollama 等截至发稿已有 77 家企业签署。签署方一天内翻倍反映出开放权重正快速成为美国 AI 政策讨论的核心议题。值得注意的是Anthropic 与 Amazon 仍未出现在签署名单中。Amazon 是 Anthropic 最大的投资方之一Anthropic 也使用 Amazon Trainium 芯片训练和部署模型。两家公司尚未解释缺席原因。Amodei 表示对公开信很多内容认同开放权重扩大了人们参与 AI 经济的机会至少在部分应用场景中增强了竞争也赋予客户更大的控制权。对于蒸馏的担忧应当通过有针对性的法律和商业框架来解决也就是我上面提到的措施。但他也不认同公开信中一些说法例如开放权重模型必然更有利于开发安全防护措施或广泛开放模型能力必然会给防御者带来比攻击者更大的帮助。在我看来相反的结果至少同样有可能发生。Amodei 此次回应更多是安抚美国内的舆论情绪。值得注意的是公开信提到的开放主要集中在模型层。组织公开信的英伟达仍掌握专有的 CUDA 软件生态微软也在 Azure 上销售闭源模型多数签署方倡导的开放并未触及自身最核心的竞争壁垒。对于企业而言开放权重意味着可下载、检查和重新训练模型也可将数据保留在自有基础设施中。但模型能否真正运行仍取决于芯片供应、算力成本和部署能力模型开放也无法解决智能体授权、版本追踪和审计等问题。即使企业能读取模型权重也无法仅凭模型本身证明某个智能体是否获得授权或确认不同地区运行的模型是否与安全团队批准的版本一致。因此开放权重解决的是供应商依赖问题的一部分而非完整的 AI 治理问题。T 级别模型开源200 万元只是入场券此前海外一直担心国内有对标 Fable 5 的开源模型出现K3 的发布加剧了这种担忧。随着 K3 技术报告发布可看到 T 级模型开源可能带来的影响。现在每个人都可以下载并部署 Kimi K3 模型——无论是用于内部研发还是嵌入到面向终端用户的产品中均可自由使用。月之暗面官宣文激发了网友热情。不过也有网友发现到 K3 这种级别模型的开源个人部署基本不太可能。截至目前Kimi K3 能完成公开验证的最低部署配置是一台搭载 8 张 AMD MI355X 加速卡的服务器整机成本预计约 170 万至 240 万元。但这一配置仅解决把模型加载起来距具备可接受速度、并发能力和长上下文支持的生产级服务仍有差距。知乎答主平凡推测按 Kimi 官方技术文章提出的 64 张以上加速卡部署建议真正面向商业服务的硬件投入可能达千万元级别。这意味着2.8T 参数规模的 K3 基本脱离个人本地部署范畴对绝大多数普通企业而言自建推理集群经济性有限直接调用 API 可能更现实。具体来看Kimi K3 模型文件约为 1.5609TB总参数量达 2.8T每次生成仅激活约 104B 参数模型权重采用 MXFP4 格式。尽管其采用混合专家架构单次推理不需要调用全部参数但完整模型权重、KV 缓存和运行状态仍需占据极大显存空间。根据 AMD 披露的测试结果单张 MI355X 配备 288GB HBM 显存8 张卡合计拥有 2.304TB 显存能容纳 K3 的模型权重及必要运行数据。AMD 已验证 8×MI355X、张量并行度 TP8 的部署方案vLLM 也将 8 张 MI355X 或 8 张 B300 列为目前相对容易部署 K3 的配置。值得注意的是AMD 目前公布的首日测试最大上下文仅为 16K尚未披露生成速度、首 Token 延迟、吞吐量和并发能力等关键指标。像之前买一台 512GB 的 Mac Studio就可以部署一个几百 B 的大模型那个时代已经一去不返了。那个级别的模型在现在已经不够看了。该答主总结道。另外对于 K3 这样的 2.8T 模型即使权重已采用低精度格式普通工作站的内存容量、带宽和计算能力也无法满足部署需求。答主大概列出四种方案从低到高基本上是刚刚能跑以及勉强能够实现正常使用。其中8 张 MI355X 是目前公开配置中成本最低、验证程度最高的方案。由于 MI355X 整机没有统一公开报价市场只能通过服务器和单卡报价进行估算。Supermicro 支持 MI350 系列的 8 卡服务器起价约 24.5 万美元结合 MI355X 单卡约 2.5 万美元的市场估值一套完整 8 卡服务器成本预计在 25 万至 35 万美元之间折合人民币约 170 万至 240 万元。其他方案成本更高。16 张 H200 合计显存约 2.256TB理论上能容纳模型但通常需跨两台服务器部署硬件成本预计约 435 万 -570 万元16 张 B200 合计显存约 2.88TB由于单台 8 卡 B200 服务器显存仍不足需要两台服务器成本约 540 万 -680 万元24 张 H100 合计显存约 1.92TB虽然勉强能放下模型但运行余量较小跨服务器通信也会成为明显瓶颈若采用云服务全年租赁成本可能超过 870 万元。即使是成本最低的 8×MI355X 方案也很难保证 K3 具备理想的实际使用体验。K3 接近 3T 参数规模每生成一个 Token 都需在大量模型权重和专家模块间调度数据单机 8 卡虽能完成加载但吞吐速度、并发能力和长上下文性能可能受限。对于用户而言能够加载模型和能够提供生产级服务是两个不同概念。K3 的架构进一步放大了集群通信的重要性。该模型拥有 896 个专家每个 Token 会从中选 16 个专家参与计算。当不同专家被分配到不同 GPU 时系统需频繁在加速卡间传输激活数据。随着并发量和上下文长度增加GPU 之间的互联带宽将直接影响 Token 生成速度。因此Kimi 官方技术文章不建议大型服务仅依靠一台 8 卡服务器而是建议使用 64 张以上、位于同一个高速互联域内的加速卡。按 64 张 MI355X 计算部署 K3 需要 8 台八卡服务器仅硬件投入预计约 1360 万至 1900 万元。若使用云资源按照 Oracle 相对较低的实例价格估算全年成本约 409 万元按照 Vultr 现有价格计算全年成本可能达到 986 万元。此外64 张 MI355X 集群的整体电力需求可能接近 100kW。如果全年持续运行仅电费就可能接近百万元这还没计入机房、散热、网络、存储、运维人员和冗余设备等成本。200 万元只是 K3 的‘入场券’千万级才更接近商业化服务的起点。该答主总结道。T 级开放权重模型的出现正在改变开源模型能够普惠本地部署的传统认知。开放权重意味着开发者可下载、研究和修改模型却不意味着个人和中小企业具备运行这些模型的硬件条件。对于普通个人用户而言未来更多只能分析模型架构、研究技术报告或使用经过大幅蒸馏和量化的小型版本而无法直接运行完整模型。即使对一般企业而言本地部署 K3 这样的模型也难体现成本优势。除非企业拥有长期、稳定且规模极大的推理需求并具备成熟的集群调度和模型工程能力否则千万级硬件投入、持续电力成本和运维负担可能不如直接采购 API 服务划算。答主平凡总结称K3 这类模型更适合大型云服务商、头部互联网企业、科研机构甚至希望建设自主 AI 基础设施的国家级项目。例如一些缺乏自主基础模型能力的国家或大型组织可以集中采购数千乃至上万张加速卡以 K3 等开放权重模型为基座进行微调、后训练和本地化部署从而建立自己的模型服务体系。而这背后带来的不止是个别企业利润还会鼓励更多公司和开发者使用 K3进而围绕该模型构建起一个完整的工具和基础设施生态系统。随着时间推移这有助于模型成为事实上的标准这也是一些海外专家和企业担心的点之一。最后月之暗面公布的 Kimi K3 许可证显示个人开发者和普通企业可免费使用、部署、微调及商业化 Kimi K3也可基于模型开发衍生产品但需保留版权和许可证声明。另外许可证同时对大型商业使用设置限制。如果企业通过 API 等方式对外提供 Kimi K3 推理或微调服务且企业及关联方任意连续 12 个月总收入超过 2000 万美元需提前与月之暗面另行签署协议。此外如果使用 Kimi K3 的商业产品月活超过 1 亿或月收入超过 2000 万美元必须在产品界面显著标注Kimi K3。企业内部使用以及通过官方产品或认证合作伙伴调用不受上述限制。
