天津市瑞通预应力钢绞线有限公司henry 发自 凹非寺佛山无粘结预应力钢绞线
强的大模子，也曾把scaling卷到了个新维度：百万高下文。
几天前，Claude Opus 4.6发布，让东谈主次明白感受到了百万高下文的清晰材干——
单次吃进50万字汉文内容、完结跨文档法律分析、多轮Agent计议……
此情此景，用户火速用脚投票，华尔街是班师给出K线回话。
而这股scaling的风，也很快吹到了端侧。
刚刚，面佛山无粘结预应力钢绞线壁智能带着次大限度测验的寥落与线混戒备力模子，小年交卷——
这套新戒备力架构，不仅处分了传统Transformer的计较冗余，还次在能损的前提下，让9B端侧模子梗概在5090显卡上处理百万长文本。
与此同期，基于SALA戒备力架构的模子MiniCPM-SALA也将并开源。
除此以外，面壁还以OpenBMB社区形态，联SGLang与NVIDIA发起2026寥落算子加快大赛（SOAR），将这套scaling材干班师交到开发者手中，动端侧Agent部署的能蹂躏。
Linear-Sparse混戒备力架构
太长不看，咱班师说——
面壁此次全新的线与寥落戒备力混架构SALA（Sparse Attention-Linear Attention，SALA），究竟是怎么个混法呢？
浅近来说，这套架构将75线戒备力（Lightning Attention）与25寥落戒备力（InfLLM v2）结，并通过混位置编码HyPE（Hybrid Position Encoding）完结两者的协同与强的长度外。
在线戒备力模块，Linear-Sparse选用Lightning Attention算作核默算子，认真快速、雄厚地建模长文本的全局信息。
Lightning Attention的计较式与传统全戒备力接近，便现存全戒备力模子班师迁徙到混架构，需从驱动预测验。
同期，借助QK-normalization和输外出控机制，使线层在百万高下文测验下保合手数值雄厚，避梯度爆炸或下溢。
在寥落戒备力模块，Linear-Sparse采用InfLLMv2来捕捉长序列中的关节局部信息。
InfLLM v2可按需遴荐关节KV，让每个Query只计较要部分，从而大幅提长文本处理率。
值得提的是，InfLLM v2还能在长文本中自动启用寥落模式，在步伐长度下回退为强大计较，完结是曲文本的缝切换。
后，混位置编码HyPE（Hybrid Position Encoding)的引入，则保证了线和寥落两种戒备力机制的充分协同。
面，线层保留RoPE以保管与原全戒备力模子在参数散布和特征空间上的致，保证中随笔本能持重。
另面，寥落层采用NoPE（位置编码），让KV-Cache与位置信息解耦，侧目长距离衰减问题，使模子在百万长度高下文中仍能检索远信息。
测验上，MiniCPM-SALA采用Transformer-to-Hybrid低资本构建法（HALO）。
具体而言，模子通过HALO法将75的全戒备力层挪动为线戒备力层，通盘这个词经过包括参数挪动、隐现象对皆、层遴荐以及学问蒸馏四个方法。
终，这套Linear-Sparse假想让MiniCPM-SALA在端侧处理长文本时，不仅显存占用低、计较，并且语义精度依然保合手先水平。
为什么百万高下文，须是“混戒备力”？
要回答这个问题，得先回到传统的Full Attention。
在经典Transformer里，每生成个新token，都要和之前通盘token作念两两计较，其计较复杂度是典型的O(N²)。
这意味着，把高下文从1万拉到100万，计较量不是涨100倍，而是班师飙升1万倍。与此同期，为了让模子“记着”通盘历史信息，还得把KV对全攒在显存里。
跟着高下文长度加多，KV Cache马上彭胀，很快就会爆显存。
由此可见，想处分长高下文问题，戒备力机制是中枢瓶颈。
昔日几年，业界围绕这瓶颈探索了多条阶梯，执行上都是在精度、率与可部署之间寻找均衡点：
类是线戒备力，常常为线和全戒备力结的混假想。
它用记挂现象替代传统两两分，能将计较复杂度从O(N²)降到O(N)。
点是不错吃下百万高下文，但底层采用有损压缩，序列越长，早期信息越容易被稀释，致高下文渐忘和模子材干着落。
二类是原生寥落戒备力。
只计较关节位置，精度接近全戒备力，但为了守旧长程历史回归，仍需全量保存KV Cache，致端侧部署资本。
三类是烧毁显式戒备力的现象空间模子，钢绞线厂家如Mamba。
这类法理率、险些不需要KV Cache，但在精准领导死守和长距离精准检索上，仍不够雄厚。
综上，咱们不出丑出戒备力机制蜕变是长高下文scaling的主战场。
但简直能同期兼顾百万高下文材干、理率和端侧可落地的案，仍然稀缺。
这亦然为什么面壁提议Linear-Sparse混戒备力架构的起点。
用线机制承担大限度高下文的承载，用寥落机制补足关节位置的精准建模材干。
在这架构下佛山无粘结预应力钢绞线，模子不再需要对通盘token作念完满的两两计较，也不条目保存全量KV Cache。
新的混戒备力架构不错在权贵镌汰理支出和显存占用的同期，避纯线戒备力在长程信息调回上的精度失掉，以及寥落戒备力在端侧开导要求上的局限。
基于这假想，面壁还开源了MiniCPM-SALA，用来考证该架构在的确长高下文场景下的后劲。
在果层面，收货于权贵低的显存占用和的理率，MiniCPM-SALA次在5090这么的糜费显卡上，将1M高下文完满跑通，为长高下文从云霄走向端侧提供了条现实可行的旅途。
与此同期，在不依赖投契理等迥殊加快算法的前提下，比拟同尺寸开源模子，MiniCPM-SALA在256K序列上完结了2倍以上的速率晋升。
当序列长度跳动晋升至512K以至1M时，部分同尺寸模子也曾遇到显存瓶颈，而MiniCPM-SALA依然梗概雄厚运行。
（详备测评后果可参考MiniCPM-SALA的GitHub或Hugging Face README）
从这些后果来看，改日的大模子，并不定需要Full Attention材干具备完满材干。
当高下文成为资源时，像Linear-Sparse混戒备力这么的新式戒备力假想，正在成为影响模子能否简直落地的挫折变量。
2026寥落算子加快大赛
若是说MiniCPM-SALA让Linear-Sparse混架构的材干有了实证，那么本年的SOAR（寥落算子加快大赛）等于让这套技巧“落地跑起来”的舞台。
这场比赛由面壁智能、OpenBMB联SGLang社区和NVIDIA共同发起。
旨在通过公共客的度互助，共同探索MiniCPM-SALA这公共创“寥落+线”混架构模子在1M长文本理上的能限。
具体来说，大赛聚焦于寥落算子融与编译化等底层技巧挑战，尝试在糜费GPU上完结百万Token理且KV Cache6GB的致率。
比赛时分从2月11日合手续到5月29日，设有总池过70万东谈主民币的励。
参赛者不仅能测试混架构在的确硬件上的限，还能探索端侧长文本处理的新法。
比赛连合：https://soar.openbmb.cn/
面壁为什么执着于用SALA重构长高下文？
这并不是为了“卷长高下文筹划”。
面壁的大方向是从Densing Law（密度规则）的旨趣启程，将通用材干强的模子落到智能终局如手机、汽车、机器东谈主等上，而SALA架构的立异是通往罗马的关节：
恰是基于对戒备力机制的立异，MiniCPM-SALA模子材干鼓胀、显存占用鼓胀低，面壁材干次在5090这么的糜费GPU 上，把兆长文本端侧理简直跑通。
这步旦建造，长高下文就不再仅仅云霄模子的特权，而成为端侧智能不错依赖的基础材干。
若是把面壁本年的动作放在起看，其实不难意会其在端侧智能上的举座念念路：
从模子底层纵贯端侧生态，中枢等于高下文。
论是模子架构的迭代，照旧长文本的竞技，执行上都是次针对端侧落地的“两步走”政策。
而这，并非随机。
放眼通盘这个词行业，Agent的中枢瓶颈已从单纯的参数目转向高下文材干——
从模子层的Claude Opus 4.6，到应用层的Claude Cowork、Clawdbot（现OpenClaw），再到评估层的CL-Bench，行业共鸣也曾极度明确：
能否次接纳、意会并合手续专揽多半高下文，是决定Agent可用的关节。
与此同期，基于戒备力机制化高下文处理，也已成为学界到产业公认的主战场。
昨年NeurIPS 2025佳论文给到门控戒备力；产业侧，Kimi的KDA、DeepSeek的NSA、MiniMax的Lightning接踵出新案——
险些通盘中枢玩，都在attention这条线上合手续加码。
因为这不是个“工程调”问题，而是架构问题。
唯有简直具备AGI策画和技巧纵的公司，才有材干从底层架构路改到表层算法。
也唯有简直想把模子材干到界限的团队，才有派头去挑战也曾被奉为主流、但披露仍有化空间的Transformer传统范式。
而面壁遴荐这条路，是因为其与端侧部署的方向度契：
先，端侧Agent要处理的包括通信录、位置信息、聊天纪录。
出于诡秘保护，这些数据法走向云霄。唯有让模子本人具备长高下文材干，个东谈主助理材干在腹地简直“懂你”。
其次，通用榜单已投入红海，端侧开发者关爱的问题也已从特定的benchmark，转向的确宇宙环境的高下文应用。
这正如DeepSeek接洽员苟志斌所言：
预测验能scaling，RL也能scaling，高下文也能scaling，模子仍在持续scaling。
换句话说，参数限度也曾不再是唯筹划，简直的竞争力在于模子/Agent在复杂高下文中合手续理和举止的材干，这将班师决定模子从demo走向仓库代码助手、行业学问库Agent。
后亦然执行的，不处分长文本理部署资本，端侧智能也就法简直落地。
是以面壁不单作念模子，在作念生态：从开源MiniCPM-SALA，到举办端侧长文本比赛镌汰部署资本，再到耕开发者社区，面壁正在拼出条剑指“百万高下文时间个东谈主智能体”的干线。
比赛连合:
https://soar.openbmb.cn/
技巧汇报:
Github:
https://github.com/openbmb/minicpm佛山无粘结预应力钢绞线
相关词条:铝皮保温 隔热条设备 钢绞线厂家玻璃棉 泡沫板橡塑板专用胶