开源大模型领域新秀(xiu)再起。
昨天，知名私募巨头幻方量化旗下的(de)AI公司深度求索（DeepSeek）发(fa)布全新第二代MoE大模型DeepSeek-V2。
这款支持(chi)128K上下文窗口(kou)的(de)开源MoE模型，能凭借低(di)至“谷底”的(de)价格成为(wei)新星吗？
能力媲美GPT-4，价格为(wei)其百分之一
先(xian)看性能。
和(he)当前主(zhu)流大模型相比，DeepSeek-V2毫不(bu)逊色。
据悉，DeepSeek-V2拥(yong)有2360亿参数，其中(zhong)每个token210亿个活(huo)跃参数，相对较(jiao)少，但仍(reng)然达到(dao)了开源模型中(zhong)顶级的(de)性能，称得上是最强的(de)开源MoE语言(yan)模型。
研究团队构建了由(you)8.1T token组成的(de)高质量、多源预训练语料库。与DeepSeek 67B使用的(de)语料库相比，该语料库的(de)数据量特别是中(zhong)文数据量更大，数据质量更高。
据官网介绍，DeepSeek-V2的(de)中(zhong)文综合能力（AlignBench）在众多开源模型中(zhong)最强，超过GPT-4，与GPT-4-Turbo，文心 4.0等闭源模型在评测中(zhong)处于同一梯队。
其次，DeepSeek-V2英文综合能力（MT-Bench）与最强的(de)开源模型LLaMA3-70B处于同一梯队，超过最强MoE开源模型Mixtral8x22B。
有分析(xi)指出，该模型的(de)训练参数量高达8.1万(wan)亿个token，而DeepSeek V2表现出“难以置信”的(de)训练效率，并且(qie)计算量仅为(wei)Meta Llama 3 70B 的(de)1/5。
更直观地(di)说，DeepSeek-V2训练所需的(de)运算量是GPT-4 的(de)1/20，而性能却相差不(bu)大。
有外国网友给(gei)出了高度评价：在仅有210亿个活(huo)跃参数的(de)情(qing)况下，能达到(dao)如(ru)此强的(de)推理(li)能力相当惊人。
“如(ru)果属实的(de)话(hua)，那是相当惊人的(de)。”
“原来是中(zhong)国公司？也许这就是‘中(zhong)国队’在AI领域名列前茅的(de)原因。”
“如(ru)果属实的(de)话(hua)，那是相当惊人的(de)。”
“原来是中(zhong)国公司？也许这就是‘中(zhong)国队’在AI领域名列前茅的(de)原因。”
不(bu)过，技术已经不(bu)是大模型的(de)唯一宣传点了。
作为(wei)AI技术的(de)前沿领域，大模型更新换(huan)代之快有目共睹，再强的(de)性能也可能在发(fa)布的(de)下一秒就被友商反超。
因此，DeepSeek选择(ze)“卷”价格。
目前DeepSeek-V2 API的(de)定(ding)价为(wei)：每百万(wan)token输入1元、输出2元（32K上下文）。
和(he)友商相比，仅为(wei)GPT-4-Turbo的(de)近百分之一。
DeepSeek表示，采用8xH800 GPU的(de)单节点峰值吞吐量可达到(dao)每秒50000多个解码token。
如(ru)果仅按输出token的(de)API的(de)报价计算，每个节点每小时的(de)收入就是50.4美元，假设利(li)用率完全充分，按照一个8xH800节点的(de)成本为(wei)每小时15美元来计算，DeepSeek每台服务器(qi)每小时的(de)收益可达35.4美元，甚至能实现70%以上的(de)毛利(li)率。
有分析(xi)人士指出，即(ji)使服务器(qi)利(li)用率不(bu)充分、批处理(li)速(su)度低(di)于峰值能力，DeepSeek也有足够(gou)的(de)盈利(li)空间，同时颠覆其他大模型的(de)商业逻辑。
总(zong)结就是，主(zhu)打一个“经济实惠”。
有网友表示：太便宜了，充50块能用好几年。
“日常的(de)任(ren)务都能胜任(ren)。”
“开放平(ping)台送(song)的(de)十块钱共有500万(wan)token。”
“日常的(de)任(ren)务都能胜任(ren)。”
“开放平(ping)台送(song)的(de)十块钱共有500万(wan)token。”
全新创新架构，支持(chi)开源
价格是怎么被打下去的(de)？
来自DeepSeek-V2的(de)全新架构。
据悉，DeepSeek-V2采用Transformer架构，其中(zhong)每个Transformer块由(you)一个注意力模块和(he)一个前馈网络(luo)（FFN）组成，并且(qie)在注意力机(ji)制和(he)FFN方面，研究团队设计并采用了创新架构。
据介绍，一方面，该研究设计了MLA，利(li)用低(di)秩键值联合压缩来消除推理(li)时键值缓(huan)存的(de)瓶颈，从而支持(chi)高效推理(li)。
另一方面，对于FFN，该研究采用高性能MoE架构 ——DeepSeekMoE，以经济的(de)成本训练强大的(de)模型。
DeepSeek-V2基于高效且(qie)轻量级的(de)框架HAI-LLM进行训练，采用16-way zero-bubble pipeline并行、8-way专家并行和(he)ZeRO-1数据并行。
鉴于DeepSeek-V2的(de)激活(huo)参数相对较(jiao)少，并且(qie)重(zhong)新计算部分算子以节省激活(huo)内存，无需张量并行即(ji)可训练，因此DeepSeek-V2减少了通信开销。
并且(qie)，DeepSeek-V2完全开源（https://huggingface.co/deepseek-ai），可免费上用，开源模型支持(chi)128K上下文，对话(hua)官网/API支持(chi)32K上下文（约24000个token），还兼容(rong)OpenAI API接口(kou)。
不(bu)仅性能好，还这么便宜，甚至直接兼容(rong)OpenAI API，DeepSeek-V2这手“王炸”，换(huan)谁可能都没法拒绝(jue)。
外国网友直呼：没理(li)由(you)不(bu)用！
DeepSeek-V2的(de)性能水平(ping)几乎和(he)与GPT-4一致、提供的(de)API与OpenAI API兼容(rong)、可以免费使用500个token、付费版本价格仅为(wei)GPT-4的(de)1/100……
“没有理(li)由(you)不(bu)用它。”
DeepSeek-V2的(de)性能水平(ping)几乎和(he)与GPT-4一致、提供的(de)API与OpenAI API兼容(rong)、可以免费使用500个token、付费版本价格仅为(wei)GPT-4的(de)1/100……
“没有理(li)由(you)不(bu)用它。”