作家为北京通用东谈主工智能沟通院（BIGAI）沟通员陈以新，作家来自 BIGAI、北京大学、清华大学、北京邮电大学、北京理工大学，通信作家为 BIGAI 沟通员黄想远。

在具身智能、机器东谈主与增强推行等向合手续进的今天，3D 场景清爽才调正成为空间智能的中枢基础法度。可是，个经久存在却经久未被经管的问题是：

当质地 3D 标注数据日益稀缺，咱们能否用「海量」互联网构建精度、可扩张真实凿场景数据，进步 3D 场景清爽的多任务施展？

近期，来自北京通用东谈主工智能沟通院的沟通团队在被 CVPR 2026 分禁受的论文中，系统地修起了这问题。

图 1 SceneVerse++ 总览：从标注互联网启航，经自动化引擎生成的数据可用于进步 3D 检测、空间 VQA 与 VLN 等卑鄙任务的模子施展。

沟通团队提议了整套面向 3D 场景清爽的自动化数据引擎，从标注启航，递次完成数据预处理与筛选、结构化建图（SfM）、繁密重建、实例分割、语义描述生成，并逾越派生出空间问答（Spatial VQA）与视觉言语航（VLN）所需的结构化数据。

基于该数据引擎，团队构建了迄今大规模真实凿室内 3D 场景数据集 SceneVerse++，共 6687 个场景，在场景数目、场景面积、物体种类与物体数目上均权贵越 ScanNet、ARKitScenes 与 MultiScan 等既有确凿数据集。

在三项代表卑鄙任务，3D 标的检测与实例分割、3D 空间视觉问答（VQA）、3D 视觉言语航（VLN）上，SceneVerse++ 均带来权贵的样本与微调能进步，并次系统揭示了自动化数据生成过程中各子模块对卑鄙任务的要道影响。

这项沟通不仅拜托了个可告成使用的数据集，迫切的是为「用互联网规模的标注数据驱动 3D 空间智能」提供了可复现的路线图和翌日发展向。

勾通：https://mp.weixin.qq.com/s/K3SAxYWNK8RoZ_ndYSWK8Q

3D 场景清爽的大瓶颈：确凿、质地且各类的数据

3D 场景清爽是具身智能、机器东谈主与增强推行的共同基础，频年来从几何感知（度揣摸、相机位姿揣摸）到语义清爽（3D 标的检测、实例分割），再到层理（3D 视觉定位、空间理）都取得了权贵进展。

可是与 2D 数据不同，质地 3D 场景数据的获取与标注代价：频繁需要 RGB-D 诱惑或 LiDAR 鸠合、三维重建、再东谈主工标注场景结构与类别。

自 ScanNet 以来，3D 场景数据的规模并未信得过出现量上的飞跃；后续责任或以精度为代价进步场景数目（如 ARKitScenes），或在有限规模上进步质地（如 ScanNet++）。模子合手续迭代，数据却面对瓶颈，成为制约 3D 场景清爽发展的中枢矛盾。

本文的中枢不雅点是：用用心想象的自动化数据引擎，从标注中收复与现存数据集相通的 3D 场景默示，并生成可告成用于考察的多任务标注。

SceneVerse++：来自互联网真实凿 3D 场景数据集

沟通团队聚焦于静态室内场景，把互联网上的 Room Tour 算作原始素材。相较于传统扫描数据，这类具有强的各类与规模后劲，同期也带来了复杂的建模挑战。

通盘这个词数据管线由以下模块构成：

镜头切分与过滤：使用 TransNetV2 对前途行镜头检测，剔除过短片断、纯黑屏、画面噪声、东谈主物主体以及室外场景，保留适 3D 重建的室内实质；

基于视差的要道帧抽取：相较于均匀采样，继承基于视差的要道帧采纳，既保证三角化逍遥，又猖狂冗余，对长尤其友好；

密集像素匹配与全局光束法平差：通过密集像素匹配 + BA 得到庄重的相机位姿与疏淡点云；并针对 300 帧以上的长引入了化的伪轨迹像素与相对图像相似度政策，有缓解像素匹配模子的假阳偏差；

质地把关：对空间消逝过小、实质过空或 SfM 遵循颠倒的场景进行过滤。为确保卑鄙任务的数据质地，继承东谈主工复核（每个场景 10 秒以内），代价可控。

终，从 8217 段互联网启航，团队得到 6687 个确凿室内 3D 场景，规模已越同类确凿数据集，况且由于素材来自长，SceneVerse++ 包含多楼层、多房间、大规模的复杂场景，这是传统房间或实验室扫描数据所不具备的。

图 2 SceneVerse++ 与 ScanNet、ARKitScenes、MultiScan 的统计对比：在场景数目、场景面积、物体类别数与物体数目四项贪图上先。

勾通：https://mp.weixin.qq.com/s/K3SAxYWNK8RoZ_ndYSWK8Q

中枢模块：自动化 3D 重建与实例分割数据引擎

仅有 SfM 疏淡点云并不及以复旧卑鄙任务。团队在 SfM 之上想象了套同期兼顾质地与率的繁密重建 + 实例分割管线（如图 3）。

中枢标的是经管个基础问题：若何从凡俗中郑州15.24钢绞线每米重量，自动收复个「竣工且带标注」的 3D 场景？

图 3 数据生成管线总览：左上为基于度衡量的繁密重建，左下为 2D→3D 掩码进步与语义标签生成，右侧为终的重建网格与实例分割遵循。

繁密重建：以 SfM 疏淡点为先验，通过 Prior Depth Anything 预测繁密度衡量图，随后在 TSDF 默示下完成融，得到水密网格；并以半径 / 统计滤波去除浮点噪声。比较端到端法，该活水线在保合手逍遥几何质地的同期，权贵裁汰了大场景的筹划支出。

实例分割：先用在每帧赢得 2D 分割掩码，再基于相邻帧视图致 + 空间致将 2D 掩码聚到 3D 空间；后用 DescribeAnything 与 Qwen-VL 自动生成实例的文本描述与 ScanNet 类别标签。这套 2D→3D 进步案在避重迭实例的同期，解脱了对每场景化的重度依赖。

中枢模块二：面向空间 VQA 的结构化问答生成

在 3D 场景清爽之上，团队但愿逾越动大模子的空间理才调：这些数据，能不成告成用来考察模子的「空间清爽才调」？

基于 SceneVerse++ 的几何 + 语义标注，他们构建了 3D 场景图（scene graph）：每个节点默示个 3D 物体实例，边默示成对空间联系。结 VLM-3R 的任务模板，自动生成七类空间问答样本，涵盖：

物体计数、物体尺寸（Object Counting / Object Size）

相对距离、相对向、对距离（Relative Distance / Relative Direction / Absolute Distance）

房间尺寸（Room Size）

路线磋磨（Route Planning）

管线输出算计 632K 条空间 VQA 样本（391K 多选题 + 241K 填数题），可告成用于 VSI-Bench 模式下的考察与评估。

中枢模块三：从确凿 Room Tour 到可考察的 VLN 数据

视觉言语航（VLN）任务的标的，是让智能体「看着画面，听着辅导，在环境中转移」。 推行问题是：确凿诚然丰富，却并不适作念航数据。

确凿的 Room Tour 接近东谈主类当然探索式，但其相机轨迹充满冗余旋转、回头看、非前向视角等非飘零为，与 R2R 这类基准中的短旅途 - 标的向轨迹存在权贵相反。

图 4 VLN 数据生成三段式管线：旅途预处理 → 动作编码 → 辅导生成。

团队据此想象了三阶段活水线：

旅途预处理：移除冗余局部旋转、切分过长旅途为几许子旅途，使其适生成当然言语辅导；

动作编码：从 SfM 相机位姿投影到大地坐标，闹翻化为 R2R 立场的前逾越长（25/50/75 cm）与旋转角度（15°/30°/45°），并过滤掉「只看不走」的动作；

辅导生成：以 Chain-of-Thought 式让 VLM 先描述局部动作，再生成整段旅途的当然言语辅导；每条轨迹生成三种立场化的辅导以增强各类。

该管线终在 SceneVerse++ 上产出 9631 条轨迹、平均长度 12.8 米、平均 15 步，预应力钢绞线共 7189 个不同场景下的 21567 条辅导，为 VLN 沟通提供了大规模、质地真实凿轨迹资源。

实验遵循：三项任务进步，次系统量化数据引擎的价值

1. 3D 标的检测与实例分割

作家以 SpatialLM（基于 MLLM，原始模子在 12000+ 室内成场景上预考察）算作 3D 标的检测代表，以 Mask3D（基于图分割 segment 的实例分割模子）算作 3D 实例分割代表，远离在 ARKitScenes 与 ScanNet 两个确凿天下基准上进行样本与微调评估，通盘模子架构保合手致。

(a) 3D 标的检测：如表 1 所示，SceneVerse++ 算作预考察数据在 ScanNet 样本上取得 F1@30.9 的施展，要道的是，在 ScanNet 上完成微调后，SceneVerse++ 预考察模子取得 F1@0.25 = 58.6、F1@0.5 = 45.4，较 SpatialLM 原成预考察 + ScanNet 微调的 38.0 / 28.7 远离进步 +20.6 / +16.7 分，标明互联网确凿比成数据能提供贴确凿天下散播的开动化；同期，仅在 ScanNet 上考察（预考察）仅得 F1@0.25 = 2.9，标明勾通 3D 编码器与 MLLM 的适配器须依赖大规模预考察。

(b) 3D 实例分割：如表 2 所示，单用 SceneVerse++ 预考察的 Mask3D 难以迁徙到 ScanNet（AP25 仅 15.4），但在 ScanNet 上微调后，各项贪图均有进步（AP25 36.1 → 38.5，AP 22.8 → 23.6）。这相反揭示了个要道时事：Mask3D 严重依赖基于图分割瞻望算的 segment，对传感器、重建过程的散播漂移度明锐；比较之下，SpatialLM 这类告成作用于体素 / RGB 的模子施展出庄重的可扩张。

表 2 Mask3D 在 3D 实例分割上的评估：SceneVerse++ 预考察 + ScanNet 微调比较从新考察进步 +2.4/+1.1/+0.8 (AP25/AP50/AP)，但仅用 SceneVerse++ 预考察难以样本迁徙，响应了该模子对数据特定偏差的强依赖。

2. 3D 空间视觉问答

3D 空间视觉问答的评估在 VSI-Bench 上进行，作家在 Qwen2.5-VL-3B / 7B 两个规模上用 LoRA 微调，考察数据分为四组对照：

(1) 样本（-）；

(2) 仅 SceneVerse++（SV++，202K 样本）；

(3) 仅 VLM-3R 的 ScanNet+ScanNet++ 数据（SN, SN++，206K，域内）；

(4) 两者并考察（All）。

同期在全集与 ARKitScenes 子集上远离叙述遵循，后者对 SV++ 与 SN/SN++ 均为域外，便于比较跨域泛化才调。

表 3 VSI-Bench 遵循（各类任务准确率 ）：SV++ 相较样本在 3B / 7B 上平均进步 +14.9 / +9.8；与 SN,SN++ 并后在全集与 ARKit 子集上同期登顶。

生成数据对于空间理才调有无数增强：Qwen2.5-VL-3B 全集平均从 27.9 → 42.8（+14.9），7B 从 36.6 → 46.4（+9.8）；在物体计数 Obj.Cnt.（25.2 → 61.8）、物体尺寸 Obj.Size（16.5 → 49.8）、相对距离 Rel.Dist.（37.2 → 49.3）上均有大幅跃升，讲解注解互联网生成数据与仿真室内扫描数据在空间理才调上的进步果极端。

跨域泛化权贵：在 ARKitScenes 子集（对 SV++ 与 SN/SN++ 均是域外）上，SV++ 与 SN,SN++ 施展极端甚而略（3B：48.0 vs. 49.0；7B：49.1 vs. 48.8），讲解互联网提供的先验对确凿场景具有精好意思泛化。

类别相反：SceneVerse++ 在相对距离（Rel.Dist.），相对向（Rel.Dir.） 等通用空间常识类别上进步赫然；在物体计数（Obj.Cnt.）、房间尺寸（Room Size） 等依赖域特定散播的类别上弱于 SN/SN++，这与图 2 中场景 / 物体散播相反吻。

考察动态揭示过拟风险：作家可视化考察过程发现，域内考察和测试（SN,SN++） 在考察后期仍在全集上合手续上涨，而域外考察和测试则在个拐点后趋稳，响应出 SN,SN++ 容易过拟到域内私有陈迹，这与同期责任对于 VSI-Bench 非视觉捷径的分析致。

图 5 考察过程对比：上为在全集上的测试，下为在 ARKitScenes 子集测试，发现域内考察和测试（上）呈现过拟时事。

3. 3D 视觉言语航

评估基于圭臬 Room-to-Room (R2R) 基准（Matterport3D 环境），通盘实验使用换取考察轮次以确保公谈。贪图包含 SR（见遵循）、OS（Oracle 见遵循）、SPL（旅途长度加权见遵循）、Dist（距标的距离）、PL（轨迹长度）。

作家逾越对数据管线中的两个中枢模块进行消融：TR（轨迹化，Trajectory Refinement）与 IE（辅导增强，Instruction Enrichment）。

表 4 在 R2R 基准上的 VLN 评估：SceneVerse++ 预考察 + R2R 微调将 SR 从 0.088 进步至 0.228；去除 TR 或 IE 任模块均致权贵下落。

确凿权贵进步航才调：仅用 SceneVerse++ 预考察就能在 R2R 样本将 SR 从 0.088 进步至 0.107；由于确凿包含丰富的解放探索行径，PL 从 5.22 激增至 14.1，响应其轨迹复杂、迫临确凿东谈主类显露。

微调后进步：SceneVerse++ 预考察 + R2R 微调达到 SR 0.228 / OS 0.315 / SPL 0.191 / Dist 7.65，相较预考察基线（SR 0.088）对进步 +14.0 个百分点（+159）；同期 Dist 下落、SPL 进步，讲解注解大规模确凿先验权贵了航率与旅途理。

朴素混不是：告成把 R2R 与 SceneVerse++ 混考察（R2R+SV++）仅得 SR 0.188，低于先 SV++ 预考察、再 R2R 微调的 0.228，讲解确凿与仿真环境存在视觉域差，需要通过预考察 → 微调的两阶段政策弥。

轨迹化（TR）不可或缺：w/o TR 时，SR 从 0.228 降至 0.177（-5.1），PL 也偏离 R2R 范式（11.95 vs. 11.64）；冗忙对原始冗余回头轨迹的清洗，模子难以学到标的向的航模式。

辅导增强（IE）为要道：w/o IE 下落幅度大 —— 样本 SR 仅 0.022，微调后也唯一 0.074；冗忙 CoT + 各类化辅导生成，模子险些法把视觉动作与当然言语对都。

论断：原始互联网不成告成用于 VLN 考察，须配任务对都的数据处理（TR + IE）；数据质地的进步比单纯堆量能带来能收益。

迫切的启示：自动化数据引擎应当被视作等沟通对象

除发布数据集除外，本文还系统扣问了刻下「从互联网到 3D 任务数据」管线中的几许共问题：

模子的可扩张 (scalable) 相反：告成作用于原始模态的模子（3D 体素、RGB-MLLM）在扩大数据规模时施展庄重；依赖任务特定中间默示（如瞻望算分割 segments）的模子对散播漂移明锐。

基准偏差与公谈评估：现存基准可能包含固有偏差，法确凿响应模子才调。翌日评估应强调样本测试、减少数据混浊，并开发能计算 in-the-wild 3D 清爽与泛化才调的基准。

子模块协同的迫切：SfM、实例分割、言语落地等子模块通常在小规模基准上考察，组后会产生过失蕴蓄。翌日子模块的开发和评估不应只看单任务贪图，还应把其对自动化数据管线的孝顺算作迫切的计算贪图。

回归：迈向 3D 空间智能的「数据基建」

本文通过 SceneVerse++ 展示了用用心想象的自动化数据引擎从互联网中规模化生成质地 3D 场景清爽数据的可行。该责任同期消逝了低层感知（检测 / 分割）、空间理（VQA）与具身航（VLN）三大代表任务，在多个确凿基准上都取得了权贵且庄重的能进步。

沟通团队逾越指出了翌日 3D 空间智能发展的要道向，包括络续扩大互联网的规模与各类，进步子模块（SfM、重建、分割、grounding）在 in-the-wild 上的鲁棒与协同，构建公谈的评估体系以计算模子真实凿 3D 清爽才调。

在 3D 数据经久稀缺的配景下，诈欺「标注」将是动具身智能体、3D VLM 以及下代空间基础模子的要路线径。

感趣味的读者可探望面孔主页 https://sv-pp.github.io/ 获取多实验细节与可视化资源。

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。