萝莉 胜利女神:nikke 对话腾讯云田丰: 智算集群从万卡迈向十万卡 组网难度大幅加多
萝莉 胜利女神:nikke
作家|依婷
裁剪|漠影
智东西12月5日报谈,2022年ChatGPT面世即万众凝视,又在两个月内得到了1亿注册用户,点火了全国对AI的期待,也让业界看到了AI大模子时间宽敞的应用远景。
两年间,AI大模子如突飞猛进般浮现。中国信通院数据高慢,竣事2024年7月,全球AI大模子数目为1328个(包含团结企业、团结模子的不同参数版块),中国大模子数目占比36%。行业对模子的研发和应用也照旧从最运行的大谈话模子,走到了多模态模子。而算力、收罗等AI大模子赖以生计和发展的基础本领,仍需要束缚优化。
在中国大模子参加所谓“洗牌年”的节点上,昨日,智东西等媒体和中国AI大模子独角兽MiniMax副总裁刘华、腾讯云北区云原生总司理田丰进行了疏导。他们从两边公司的调解启程,谈及了算力、收罗对AI大模子落地应用带来的影响。
一、多模态大模子期待更有性价比的算力
MiniMax成立于2021年12月,是“国产大模子六小虎”之一,自主研发了包括万亿参数的MoE文本大模子、语音和音乐大模子、图像大模子、视频大模子在内的多模态通用大模子。
成立于今三年,基于不同模态的通用大模子,MiniMax推出了智能助手“海螺AI”、AI本体社区“星野”“Talkie”等C端应用;MiniMax通达平台则为企业和拓荒者提供API工作。
采访中,刘华从AI大模子公司的角度启程,谈到了多模态大模子应用经过中束缚进步的算力资本问题。
他说,以往的大模子处理的是文本任务,当今的大模子处理的是语音任务、视频任务;用token来蓄意的话,一个小视频的tokens比一篇著作的tokens逾越太多。要是要让新的时间落地、让更多的企业或个东谈主能够收受新时间,就必须确保大模子能够以十分有性价比的神志处理大限制的输入或输出。
二、十万卡的训诫成果不一定大于万卡,要优化资源应用率
自MiniMax成立以来,腾讯云就与其配置了调解洽商,为其提供算力、收罗等基础本领复旧。田丰描述两家公司“是一谈手牵手走到今天”,在大模子的发展经过中,“一谈去贬责艰辛,是双向奔赴的一个经过”。
站在云工作厂商的视角,田丰共享了这两三年来我方对客户需求变化的不雅察。
他说,大模子公司客户早期可能需要的是千卡集群,当今可能齐是要上万卡,后续可能会到十万卡,“这个限制对咱们的组网的本领、集群的运维,齐是一个十分大的、全新的挑战,跟原本足够是不相通的”。
田丰拿“收罗”例如。他称,训诫万亿参数的大模子时,传统的收罗合同容易酿成拥挤、高延时。在这个经过中,0.1%的丢包率齐会导致50%的续训成果的下跌;中断复原之后,需要从上一个续训点不绝训诫模子,这会给万亿限制的模子训诫酿成十分大的亏本。
另外,田丰还提到,并不是所有的大模子厂商齐需要十万卡,十万卡的训诫成果也不一定大于万卡的训诫成果,而是需要多半优化和诊疗GPU资源的应用率,以及收罗传输通信的成果。
结语:大模子开启淘汰赛,时间最终要盈利去赢利
整整两年时期,生成式AI走过通用基座大模子的“百模大战”与“价钱战”,濒临落地应用与买卖化训诫。多模态模子的研发和优化依旧在紧锣密饱读地进行,应用落地并得胜跑出买卖形状也不行或缺。
AI大模子行业能够已参加淘汰赛阶段,算力、时间、产物齐成为竞争身分。中国大模子“洗牌年”,大模子公司和云工作厂商们齐在打起精神。
搞逼可能就像是田丰在采访中说的:“实行是训诫AI的惟一圭臬。AI大模子是长跑萝莉 胜利女神:nikke,投资东谈主和创业者齐需要有信心和耐性,炫酷的时间最终照旧要落实到买卖化自身,要盈利去赢利。”