双榜第一！让MLLM当诊断专家而非评分器，3DGS评测首次可解释！
「靠多模态证据做缺陷诊断」目录01 Spatial三层核心模块化设计1. 3D感知质量表征学习生成稳定基础分2. 空间接地多模态推理模块结构化缺陷诊断3. 推理引导分数修正基础分约束修正项02 三类评测路线优劣对比路线1纯2D IQAPSNR/LPIPS/DBCNN路线2通用开源MLLM直接打分路线3本文SpatialQ03 实验数据1. 全数据集整体定量结果2. 分场景泛化测试3. 不同压缩失真散点图定性分析4. 消融实验核心结论04 写在最后当前3DGS轻量化压缩方案大量落地数字孪生沉浸式渲染但行业缺少能同时兼顾二维观感与三维空间结构的量化评估工具。传统IQA仅单张图像打分无视跨视图断层点云稀疏几何扭曲这类3D特有缺陷通用多模态大模型只能模糊描述画面输出分数波动极大无法用于模型迭代压缩参数调优。北大深圳团队联合鹏城实验室、福州大学团队推出SpatialQ评测框架把3D空间表征学习与Qwen多模态结构化推理拆分为两条独立链路先输出稳定基础质量分再通过深度点云相机多模态证据推理缺陷类型与严重程度生成可解释修正项校准总分。在15000规模3DGS评测数据集上SRCC/PLCC全指标大幅超越传统图像指标与通用MLLM既给出精准量化分数又能定位几何失真色彩断层等具体退化补齐3D场景“打分故障诊断”一体化评测空白。01 Spatial三层核心模块化设计整套框架分为3D感知质量编码器、空间接地多模态推理模块、推理引导分数修正策略三部分。推理模型不直接输出分数仅做缺陷诊断从根源规避大模型打分不稳定问题。图 | SpatialQ完整整体框架示意图1. 3D感知质量表征学习生成稳定基础分摒弃单图像输入思路采用成对多视图作为输入基于VGGT视觉几何变换器搭建专属质量头专门提取跨视图关联与三维几何特征。成对视图编码逻辑将同一场景两张不同视角图像送入权重共享TCN编码器分别生成单视图特征再通过注意力融合得到联合表征同时捕捉单图模糊色彩失真以及两视图间几何错位深度不连续。核心简化公式解读:代表两张视图编码特征为单视图质量预测层聚合得到场景基础分。该基础分完全由监督数据训练生成不受大模型prompt波动干扰稳定性远高于纯MLLM打分。编码器额外输出配套深度图点云可视化投影相机内外参作为下游MLLM推理的空间证据不单独占用额外推理开销。消融实验可见仅基础编码器SRCC可达0.8635已经全面超越LPIPSQ-Align等视觉评测基线证明3D成对表征的有效性。图 | SpatialQ 与现有 IQA 方法的流程对比展示模型质量打分、失真感知、空间推理能力2. 空间接地多模态推理模块结构化缺陷诊断这是本文最关键创新区别于直接让MLLM输出分数的通用做法模型输入集合\{渲染图,深度图,点云投影,相机参数}四类空间证据强制大模型只输出标准化结构化诊断结果不直接给出总分。输出固定二元组失真类型,严重程度}失真分为几何不一致、点云稀疏、色彩畸变、深度断层四大预定义类别严重度划分为轻度/中度/重度三档。推理约束机制设置双层prompt隔离通用描述与评测任务系统prompt强制模型以3D质检专家视角只能基于深度点云等三维证据推导缺陷禁止无关场景描述任务prompt分打分修正缺陷解释两类分工明确。简单对比通用MLLM普通Qwen2.5-VL直接打分PLCC仅0.6985经过本模块结构化约束后推理输出完全标准化不会出现无依据主观判断为分数修正提供可靠依据。从样例可见HAC压缩场景基础分偏高MLLM识别点云稀疏给出-0.2修正项C3DGS色彩失真场景基础分低估匹配0.08调整值修正后分数与人眼MOS真值误差平均降低8%~10%。图 | 定性推理打分示例图3. 推理引导分数修正基础分约束修正项核心拆分公式简化无复杂矩阵由缺陷类型严重程度映射函数计算同时设置上下界约束限制大模型推理过度改动基础分避免极端异常修正值破坏整体稳定性。底层逻辑数据驱动的编码器负责整体人眼观感拟合多模态大模型负责捕捉基础表征遗漏的三维空间缺陷两者互补。基础分保证全局一致性修正项针对性弥补几何跨视图缺陷带来的分数偏差同时附带完整文字归因调参人员能直观看到3DGS失真根源而不是仅得到一个数字。底层逻辑数据驱动的编码器负责整体人眼观感拟合多模态大模型负责捕捉基础表征遗漏的三维空间缺陷两者互补。基础分保证全局一致性修正项针对性弥补几何跨视图缺陷带来的分数偏差同时附带完整文字归因调参人员能直观看到3DGS失真根源而不是仅得到一个数字。02 三类评测路线优劣对比路线1纯2D IQAPSNR/LPIPS/DBCNN优势推理速度快部署简单短板完全无视三维几何与多视图一致性3D压缩场景打分失真严重MipNeRF360数据集SRCC最高仅0.8635无法定位空间缺陷无解释性。路线2通用开源MLLM直接打分优势能简单描述画面瑕疵短板无标准化打分逻辑prompt敏感数值波动大不读取深度/点云三维信息PLCC普遍低于0.7只能做定性描述不能自动化量化对比。路线3本文SpatialQ独有差异化竞争力图 | 3DGS-IEval-15K 数据集中不同失真类型下模型预测质量分数与 MOS 主观分数散点分布图双链路解耦基础分稳定可控MLLM仅做诊断不主导分数规避大模型回归不稳定缺陷融合深度点云相机多模态三维证据精准识别传统指标看不见的跨视图几何类失真输出量化分数标准化缺陷归因兼顾自动化批量评测与人工故障排查适配全部主流3DGS压缩算法LightGS/C3DGS/HAC/Scaffold等室内外场景通用。03 实验数据实验基于3DGS-IEval-15K大规模基准数据集包含760套压缩3D模型228000份人眼MOS主观标注采用SRCC、PLCC、KRCC三大相关性指标指标越高代表模型打分和人眼主观感受越贴合。1. 全数据集整体定量结果图 | 各类主流评测方案在 3DGS-IEval-15K 数据集上的基准测试结果表格完整对比16款主流评测方案SpatialQ全维度第一整体SRCC0.8937PLCC0.8840第二名DISTS仅0.8198拉开显著差距。分两类失真场景纯几何失真子集SRCC0.8099色彩几何混合子集0.8835。传统IQA在纯几何场景暴跌至0.77以下说明SpatialQ对三维缺陷识别能力是核心优势。2. 分场景泛化测试图 | 三类不同数据集室内、室外场景下的性能对比结果MipNeRF360室内外混合SRCC 0.8971最优TanksTemples大型户外场景小幅下滑至0.8837Deep Blending室内稳定0.8957。趋势解读大尺度户外复杂几何场景性能小幅衰减根源是远距离点云稀疏程度难以通过二维投影完整表征属于模型天然边界。3. 不同压缩失真散点图定性分析ScaffoldHACC3D这类几何主导压缩预测分数与MOS呈现紧密单调线性关系LightGS压缩失真极其细微散点分布分散相关性明显减弱。客观解读LightGS仅做高斯轻量化裁剪人眼很难区分细微画质差异所有评测指标都会出现拟合下滑并非SpatialQ独有短板是人眼主观标注本身存在噪声。4. 消融实验核心结论图 | 3DGS-IEval-15K 数据集上训练策略消融实验结果分层验证三大模块增益仅冻结特征普通回归头SRCC 0.7639基础3D质量头提升至0.8353成对跨视图表征是基础增益来源端到端联合训练后上涨至0.8935叠加MLLM推理修正模块最终SRCC 0.8937增益幅度不大但核心价值不在数值提升而是新增缺陷可解释能力。很多读者容易只看指标涨幅但这里需要说明数值提升有限是因为基础编码器已经拟合大部分人眼观感MLLM模块核心价值是故障归因而非单纯刷分这也是该工作和普通评测论文最大区别。04 写在最后3DGS实时渲染普及后行业长期缺少能同时兼顾二维视觉三维几何可解释自动化的评测工具传统像素指标与通用大模型都存在明显场景适配缺陷。SpatialQ这套框架不只是在数据集上刷新相关性指标更解决了工程实操痛点调参研发人员不用只看一串数字能直接定位点云稀疏深度错位等三维缺陷大幅降低3DGS压缩方案迭代试错成本。后续拓展方向可补充单视图轻量化分支动态时序高斯适配户外复杂场景数据集扩充进一步拓宽评测适用范围。参考论文SpatialQ: Understanding 3D Gaussian Splatting Scene Quality via Visual-based MLLM论文链接https://arxiv.org/pdf/2607.20665