
国产算力能不成撑起万亿参数大模子?保亭无粘结预应力钢绞线
终于有东谈主交卷了!好意思团 LongCat-2.0登场。
模子继承自研 MoE 混架构,总参数达 1.6 万亿,每 token 激活约 48B 参数,原生支握 1M 长高下文。
从磨真金不怕火到理,英伟达含量为 0 ——
成为个在国产算力上实现全链路训闭环的万亿参数模子。
从多项业评测数据来看,LongCat-2.0 在代码、器具调用和多步逻辑理等任务上具备较强综能。
不外,这位倒也不算开采者的"新一又友",因为东谈主早就披着马甲"不堤防"成为了各人 Agent 开采者的~
没错,近在 OpenRouter 上挺火热的Owl Alpha,恰是 LongCat-2.0(面具版)。
月调用量在 Hermes、Claude Code 和 OpenClaw 分列各人、二和三位,成为开采者选的开源模子。
是以说,这位不仅个在国产卡上跑通了万亿训,还提前通过了阛阓的真实流量考证??
有风趣有风趣,等不足了,咱也来上手测波!
体验式: https://longcat.chat/platform/product
新用户认证送 1000 万 token
技巧申诉: https://longcat.ai/blog/longcat-2.0/
把 LongCat-2.0 扔进三个坑里
既然 Hermes 榜单它稳坐,那咱也就接入 Hermes 望望实力~
先拿长高下文开刀。
为了考证它是不是确切把信息读进去了,我特地没用公开的论文或者技巧白皮书。
我方手动拼了份语料,把几份不同业业的研报、不同域的几篇论文拼到起,中英混合凑了好几万字,be like:
我先问了个藏在文档中前段的信息,是份跨境电商相差口申诉。
对比下回复,信息正确!
还有被我特地拆分的完竣统计申诉,LongCat-2.0 也能准确找到,而且嗅觉速率挺快,就 1 秒……
它作念分析理也挺明晰,扛住了几万字挫折!
好,胆子大点,让它干件圭臬员烦的事情:接盘。
我找了个开源代码仓库,GitHub 上 13k star 的原版 2048,纯 HTML+CSS+JavaScript 架构的神色。
把它丢给 LongCat-2.0保亭无粘结预应力钢绞线,然后提了两个具体需求:
视觉类修改:把总计游戏的案改成赛博一又克作风,要配景、霓虹的块、发光果的数字。
类修改:把 4x4 的棋盘改成 5x5,同期加多个计步器败露在棋盘下,记载玩共滑了若干步。
拿到任务后它先把要津文献挨个过了遍,我方拆出了个 7 步的修改诡计。
剩下的毋庸我管,LongCat-2.0 我方跑了 12 分钟,委派了个完竣的适度。
那咱就来试玩把!
从果上看,我要的计步器和 5x5 格都有,而且改完配 ok。
改个颜加个计步器天然不算难活儿,我又加了谈题。
让它把总计神色从原生 JavaScript 迁徙到 React。
跑出来的游戏看着样,沿途保留,但底层代码仍是重写了。
LongCat-2.0 官宣后的这两天,看到不少一又友说它和 Claude Code 搭配也很香。
好好好,那咱接入 Claude Code 再试局。
此次我给了个参议主题让它维护调研。固然 Claude Code 自带 deep-research,但咱先毋庸,望望 LongCat-2.0 的实力如何。
通过 Agent 原生才调自主连网搜索,LongCat-2.0 立完成了整篇结构化申诉。
天然了,代码才调也不成落下,那就来个「惟一谈门」魔小游戏吧。
拿到任务后,LongCat-2.0 开启了统筹才调,先把神色架构列,然后就运转哐哐写代码。
中间的架构假想、模块拆分、技巧选型,全是它我方定的。关卡逻辑、交互细节、通关动画个没落,并主动加了个 Web Audio 音。
然后我还顺遂接入 LongCat-2.0 的 API 作念了个代码分析师,输入大肆 GitHub 仓库,就能定制份属分析申诉。
什么神色结构、中枢模块、继承的潜在问题、化建议,全被它给读懂了。
在测试的过程中,咱还发现了个"彩蛋":给 LongCat-2.0、GPT5.5、Opus 4.6、Opus 4.8 同段提醒词让四个模子生成套物理仿真代码。
肉眼看上去,各选手呈现果接近。
但 token 用量 LongCat 赫然是少的,9004tokens,按好意思团的计费算下来都不到 1 毛钱。
这或者便是官所说 Cache 射中不计费,Token Plan 不算破钞的适度。
要说"省钱",好意思团如实是把好手。
归正这样体验圈下来,我嗅觉这 LongCat-2.0 和主流编程器具的适配度如实挺。
天然了,撑握这些才调的背后,是 LongCat-2.0 在架构层面的系列原创假想。
何况这些假想出身在个特殊的配景下:
LongCat-2.0 从磨真金不怕火到理,全程基于国产芯片完成。
那么问题来了:国产卡集群是若何 hold 住万亿参数模子的?保亭无粘结预应力钢绞线
5 万张国产卡撑起个万亿模子
说到国产芯片跑 AI,其实理这步行业里仍是有所考证。
昔日几年,如实有大模子和线上管事能跑在国产算力平台上运行。
磨真金不怕火面,行业也不时有模子完成了百亿、以至千亿的磨真金不怕火探索。
但仔细看这些效果,本色上都照旧某个身手的单点才调考证。
万亿参数别,从预磨真金不怕火的天就跑在国产卡上的训全链路闭环,在 LongCat-2.0 之前还莫得出现过。
何况这样大界限跑过程,考验的是总计系统工程才调,国产芯片的硬件条款又让这件事难上加难。
单卡显存小,1.6 万亿参数只可拆到寥若辰星张卡上起跑;
可通讯带宽又不像 NVLink 那么充裕,跨节点通讯蔓延,大界限并行磨真金不怕火入网算与通讯容易出现不合都,拖慢合座蒙眬。
图片 AI 生成
硬件差距除外,软件生态亦然个坎儿。
在英伟达平台上,钢绞线好多算子、调试器具、详情探讨才调都仍是特殊老练,换到国产芯片之后,好多东西都得我方重写、我方化。
比如 FlashAttention 的反向梯度算子,国产原有详情实现只可单核串行,速率慢 20-70 倍,法落地分娩。
是以,LongCat-2.0 的风趣并不仅仅又多了个 1.6 万亿参数模子。
关于国产 AI 生态来说,它次解说了国产算力仍是具备了撑握大模子握续磨真金不怕火、握续部署和握续迭代的才调。
另外个值得关爱的点,便是针对 Agent 期间再行假想的 LongCat Sparse Attention(LSA)。
Agent 意味着模子次要措置多数高下文,1M 高下文带来的大压力就在顾惜力探讨。
DeepSeek 之前提议过套疏淡顾惜力案 DSA,中枢想路是让模子只关爱要津 token 来裁减探讨量。
但这个案履行跑起来有个问题是,筛选要津 token 的索引器自己成了能瓶颈,索引探讨越来越慢,显存拜访越来越碎,序列越长,率掉得越赫然。
LongCat-2.0 便是从这里接办,提议了LongCat 疏淡顾惜力(LSA),对索引器作念了三项针对化:
把散拜访整理成连气儿读取、让相邻层分享索引适度、再通过两阶段筛选减少探讨量。
这三项化相互立,不错按需组,叠在起的果是让 1M 高下文的措置速率显赫熏陶,同期模子质料基本损。
LongCat 疏淡顾惜力假想总览
另个很有风趣的假想是N-gram Embedding,袭取自 LongCat-Flash-Lite,并作念了越过增强。
好多 MoE 模子熏陶才调的法都是赓续堆,但 LongCat 团队反而把部分参数"前移"到了 Embedding 层,让模子运转就能识别多频词组和讲话方式。
浅薄调理便是,以前好多事情要模子想考几十层才能反馈过来,当今开场就能认出来。
这样既提了代码、指示调理等任务的准确率,也减少了之间平凡通讯带来的罕见支出。
N-gram Embedding 总览
除此除外,像ScMoE 快捷鸠合、探讨等假想,也都围绕着同个场地,便是让模子把算力花在确切巧得算的地。
这套架构转换让模子实现快、省、果强,但 5 万张国产卡大界限集群落地,还需攻克诸多工程贫穷。
其中现实的问题便是,卡会坏。
在这样的界限下,险些每天都会出现硬件故障,是以 LongCat 团队门搭了套自动化故障措置体系。
从特殊检测、链路切换到自动收复险些沿途自动完成,把日均故障率从万分之 15.7 降到了万分之 4.4,还支握磨真金不怕火任务从 2560 张卡路扩到 5 万多张卡,毋庸倒重来。
另边,他们又重写了整套适配国产芯片的算子和并行案,把硬件运用率(MFU)从 17.8 熏陶到 27.68,单日 Token 措置才调从 7170 亿熏陶到了 1.12 万亿。
靠着系列架构和工程化,好意思团把国产芯片的后劲点点开释出来。
而且这些化叠在起,还有个突出现实的刚正——
省钱。
探讨减少探讨,ScMoE 减少恭候时辰,N-gram Embedding 裁减通讯压力,再重复国产芯片自己的资本势,LongCat-2.0 的训资本比同等界限的英伟达阶梯低了不少。
3 年恭候的"国芯 + 国模"终上台前
从公开信息来看,好意思团布局国产算力已有三年。
2023 年头好意思团缔造了 LongCat 基座团队,起步的件事便是搭开国产算力集群。
家喻户晓,用国产卡训模子意味着每个身手都要我方啃,研发周期长,资本。
但国产算力集群定是将来的主流,好意思团的选择便是在用"时辰换空间",接受了短期适配阵痛,提前吃透国产算力全链路以稳住大模子长期迭代节律。
当今看来,这个判断价值正在结束。
2023 年搭集群跑通千亿参数磨真金不怕火过程,2024 年在国产卡上考证 MoE 架构,2025 年出 5600 亿参数的 LongCat-Flash,2026 年落地了 1.6 万亿参数的 LongCat-2.0。
而且 OR 上匿名的 Owl Alpha,用两个月时辰解说了个比纸面技巧场地要津的问题:
国产芯片训出来的万亿界限模子,各人开采者也会买账。
LongCat-2.0 在匿名、背书的情况下,在多个场景下会被当成选,这证明模子委派的适度大是认同的。
本年 3 月,好意思团中枢土产货买卖 CEO 莆中在里面谈到 AI 时曾提到过个要津词,修复物理寰宇 AI 底座。
他其时示意,好意思团会握续插足基础模子,作念有特、低理资本,同期才调紧跟 SOTA 的模子。
从这个角度再看 LongCat-2.0,全过程训只靠国产算力的它,如实在往有特和低理资本的逻辑上靠;
同期它的出现也像是在给将来的物理寰宇 AI 地基,基模才调站住了,往上搭调理层和行径层才有效能点。
那么问题来了,下次冲榜的新 SOTA,会以什么新马甲出现呢?(doge)
参考鸠合:
[ 1 ] https://x.com/dr_cintas/status/2071363139967291838
[ 2 ] https://x.com/rohanpaul_ai/status/2071123605694652737
[ 3 ] https://github.com/gabrielecirulli/2048
键三连「点赞」「转发」「堤防心」
宽贷在驳倒区留住你的主义!
— 完 —
� � 点亮星标 � �
科技前沿证明逐日见天津市瑞通预应力钢绞线有限公司相关词条:罐体保温 塑料挤出设备 钢绞线 超细玻璃棉板 万能胶
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述保亭无粘结预应力钢绞线,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》,以此来变相勒索商家索要赔偿的违法恶意行为。