面向工业设计意图的参数化CAD建模评测基准解析

这两年AI辅助设计的热度确实上来了尤其参数化CAD建模这个方向各个团队都在推自己的模型——有的号称能从文字直接出可编辑的CAD文件有的喊着“一句话建模”。但真要把这些模型拿到工业场景落地大多数人心里是没底的。原因很简单评测没有跟上来。你拿什么证明你的模型真正理解了工业设计意图而不是把训练集里某个相似形状背了下来RealCADBench就是冲着这个痛点来的。简单说它是为“从工业设计意图出发的参数化CAD建模”任务设计的一套公开评测基准把原本各自为战的评测方法统一成一个相对客观、可复现的标尺。这个项目对我来说价值不在于它多花哨而在于它终于把“设计意图”——也就是工业场景里真正存在的输入形态——当作核心评测维度来认真对待了。这篇文章我会从项目背景、任务设计、指标拆解、实操复现和踩坑经验几个角度把这个基准完整拆开讲一遍。不管你是做AI算法的还是在工业软件公司做产品、研发或解决方案应该都能从里面找到一些有用的判断依据。1. 立项背景与核心设计思路1.1 为什么说现有CAD生成基准不够用先把背景对齐一下。DeepCAD在2021年放出数据集是第一个大规模用CAD操作序列来描述三维模型的数据集里面涵盖17万多个模型每个模型都以“草图-拉伸-倒角”这类命令序列来体现。后来的SkexGen、Hierarchical CADNet、CAD-MLLM等等基本都在同一个坐标系上做增量。但问题恰恰出在这个“坐标系”上。DeepCAD系的评测指标重心几乎全在几何重建质量最常用的就是点云距离、IoU这类几何比较指标。只要你的神经网络生成的B-Rep最终在几何上接近参考模型分数就高。这在学术上是清爽的可工业场景要的不是“几何上接近”而是“设计意图忠实”。为什么这两者差别很大我举个很常见的例子。同一个鼠标外壳你可以先用拉伸做出主体再用倒角处理边缘过渡也可以拆成十几个细小的布尔运算堆叠出来。几何上两者最终可能非常接近但前者特征树干净、后期参数好改后者在CAD软件里基本没法编辑改一个尺寸就可能让整个特征树崩溃。工业场景一定要前者而传统基准根本不区分这两者的区别。另外还有一个现实问题大部分现有数据集的“输入”是完整的三维模型表示比如体素、点云、B-Rep而不是设计者真正面对的输入——一段模糊但带有明确约束的设计意图。这就导致刷榜容易、落地难。你在这些基准上做得再高到了企业里对方给你一段“壁厚不小于2mm、承受50N压力、带卡扣结构的外壳”的需求描述模型可能直接就懵了。1.2 为什么坚持用“设计意图”作为评测核心RealCADBench提法的核心是把“设计意图”作为从输入到输出整条链路的主线索。它给模型提供的不是已经成型的网格或体素而是一段工业语境下的设计意图描述可能是一段需求文字、一组关键尺寸约束或者一张带标注的草图。模型要做的是输出一个完整的参数化建模命令序列而且这个序列必须能在标准CAD环境里真正重建出满足意图的实体。这其实就是工业设计里最典型的输入输出形态。需求部门给出“我们要一个带四个安装孔、孔距80mm、壁厚5mm的支架”建模工程师据此构思特征树用草图约束和参数一步步把模型搭出来。RealCADBench想考的就是AI能不能像这个建模工程师一样干活而不是纯粹做一个“形状翻译器”。它把“设计意图还原度”“参数合理性”“特征树可编辑性”三个维度拧在一起作为评价标准。形似只是最低门槛意似才是最终目标。从这个角度看它不只是一个数据集更像是在给整个人工智能辅助设计领域重新立一套“考纲”。1.3 三个维度是怎么平衡的这三个维度在实际落地的时候是有冲突的。比如你把模型训练得特别在意形状精确度得到的结果很可能是把几何凑得和参考模型很像但特征树全是布尔运算、倒角、抽壳这些操作错成一团意图还原也乱七八糟。反过来如果你只逼着网络去匹配约束条件参数对了但拓扑关系可能很怪出现悬空的环、自相交的面。RealCADBench的思路是给每个维度设权重的而不是简单平均。它把意图还原度当作“一票否决”项——如果关键约束没有被满足比如孔位数量不对、壁厚不够那这题直接判失败在此基础上再去看参数误差和结构相似度。这个权重设计我觉得是符合工业直觉的一个能让模具开出来、装配装上去的模型即使形状上与原图有偏差也比一个形状漂亮但根本没法加工的模型更有价值。2. 任务定义与数据构成2.1 输入输出边界怎么划我建议在跑这个基准之前先把任务输入输出的边界搞清楚。RealCADBench把每个测试样例组织成标准JSON结构大致长这样{ task_id: rec9867, design_intent: { type: text_and_constraints, text: Design a mounting bracket with 4 bolt holes, circular pattern, rib on back, constraints: [ hole_diameter8mm, hole_spacing40mm, wall_thickness5mm ] }, ground_truth: { sequence: [ SKETCH planeXY profile[rect(0,0,100,50)], EXTRUDE depth5, HOLE x20,y15,d8, HOLE x80,y15,d8 ] } }这个结构本身没什么高深的地方但它把一个很重要的设计原则落到了实处意图必须是多模态的而不是只有一行文字。因为纯文本的意图描述在工业场景里歧义太大——“一个支架”可能有一百种理解但带上关键约束尺寸和参考草图后人类工程师基本就知道该怎么做了。对于输出的定义官方也卡得比较严格。模型输出的每个命令不仅要有命令类型还要有对应的几何参数、草图坐标和特征属性。命令类型大概覆盖了草图、拉伸、旋转、放样、扫掠、圆角、倒角、孔、抽壳、布尔运算这十大类。这个覆盖范围和大多数主流参数化建模软件的特征面板是对应的。2.2 数据从哪里来半自动意图标注流水线不少朋友可能会担心构造这样一个“从意图到序列”的数据集成本肯定很高——每一条样本都要有设计师手写的意图标注还要有规范的CAD真值序列。确实纯手工标注一条这种样本一个熟练工程师可能要花二十到四十分钟如果做包含上万条的大集合人力成本非常可观。RealCADBench的做法是一条半自动流水线。先从产品设计库和开放CAD模型库里抽取B-Rep模型把它们的特征树自动还原成命令序列再用规则模板把每个特征树反写成设计意图描述最后由工程师抽检修正。虽然意图描述会有一定模板化痕迹但好处是覆盖面比较全——目前版本横跨机械零件、消费电子外壳、工装夹具、管路接头这几大类加起来大概有1.2万条可复用的意图到序列样本测试集单独隔离了3000条。这个规模说实话不算特别大但比纯人工标注的可持续性强很多。自动反写的核心难点在于特征树到意图文本的“可读性”还原。一个原本由设计师倒角、抽壳、打孔堆叠出来的模型特征树里藏着很多隐含工艺信息直接规则化成一句话很容易丢失语义。RealCADBench的做法是给每类产品预设一个意图模板库比如对“支架类”就会自动生成“带几个孔、孔距多少、壁厚多少”的模板描述再结合参数提取结果填入最后用少量人工润色保证自然度。2.3 评测环境与工程链跑这套基准的硬件门槛不算高官方建议一块24G显存的显卡就够起步毕竟CAD序列生成模型的参数量没有大型语言模型那么夸张但如果要跑多模态基线建议用A100或同级别显卡。评测工具链依赖OpenCASCADE内核做实体重建整套环境打包在Docker里直接拉镜像就行。这一点我觉得挺有用省去了在不同机器上重新编译OCCT的麻烦。整条评测工程链大概是意图文件加参考序列输入到评测脚本脚本把你的预测序列逐条送入OCCT做实体重建接着把重建后的实体导出为网格和渲染图再做几组指标计算最后汇总出一份报告。整个过程对机器性能的主要压力集中在渲染这一步如果三千条测试用例全都跑离线渲染普通机器可能要跑三四个小时建议分批跑。3. 核心指标详解与基线对比3.1 指标体系和一票否决机制RealCADBench的指标体系可以整理成一张速览表指标类别指标名称含义说明语义意图匹配Intent Semantic Score用多模态编码器计算意图文本与重建渲染图之间的嵌入相似度考察整体语义是否对应硬性约束满足率Constraint Success Rate规则引擎检查孔位数量、壁厚、关键尺寸等硬约束一票否决项几何重建质量CD / IoU点云倒角距离、体素交并比延续常规指标便于横向对比参数误差Param Error (P50/P90)生成模型关键参数与意图真值之间的相对误差中位数和90分位都看结构相似度NSS预测特征树与参考特征树的归一化编辑距离越接近0说明结构越合理我特别想强调一下硬性约束满足率这个“一票否决”设计。它的存在能把那些形状看起来像但关键语义错误的结果直接拦在门外。我实测的时候遇到过一种情况某个基线生成的壳体模型点云距离和IoU都拿了高分但硬约束检查时发现壁厚只有1.1mm比要求的2mm少了将近一半。这种模型在真实模具里是直接报废的传统指标完全识别不出来。3.2 意图还原度到底怎么量化很多人会问语义匹配分是不是一定可靠我的观点是单靠一个文本编码器肯定不够。RealCADBench的做法是把语义匹配分成两级第一级用多模态编码器比较“意图文本加草图约束”和“重建后渲染图”的嵌入距离这是软匹配第二级由规则引擎检查关键约束是否被满足这是硬校验。硬规则一项没过这一题就记为意图还原失败。这套机制能挡住不少“形状相似但语义错”的典型翻车案例。比如模型把所有圆孔都生成了方孔语义编码器因为整体形态相似可能给出高分但规则引擎检查孔形类型时直接就报错了。再比如孔的数量四变三、孔距偏了一半这种在渲染图上肉眼不太容易发现的错误规则引擎能准确抓出来。想把这个指标跑稳需要特别注意编码器的预处理一致性。意图文本要统一做英文小写、数字归一化和单位标准化渲染图则要固定视角、固定光照。如果这些细节不一致同一个模型在不同机器上跑出来的语义分可能差上五六个点复现性会很差。3.3 主流基线横向对比我挑几个代表性基线按照这套指标整理了一份对比。注意分数是参考性的因为模型一直在更新迭代大家主要看各指标之间的相对差异和趋势方法CD F1意图还原成功率参数误差中位数NSSDeepCAD (参考实现)0.6438%12.8%0.52SkexGen0.6843%9.6%0.47CAD-MLLM (预训练)0.7151%7.2%0.39CAD-MLLM (全量微调)0.7358%5.9%0.33这张表很有意思的一点是几何分数最高的模型意图还原率和结构分并不一定同样领先反而是微调充分、对设计意图约束做过专门适配的模型能在这两项上拉开差距。这也说明RealCADBench的评测角度是有区分度的它不是在用一个指标定生死而是逼着技术方案去认真处理“意图到约束”的映射。3.4 参数误差的工程意义参数误差中位数衡量的是重建模型关键尺寸与设计意图值的偏差比如长度、孔距、半径这些。按照我的经验这个值在5%以下基本可以被视为可用到了10%以上在装配阶段大概率会出现干涉或者间隙过大。所以“意图”这两个字很大程度就体现在这些参数上不只是长宽高还包括孔径、壁厚、倒角半径、拔模角度这些加工敏感参数。也正因为这样我建议做这套基准评测时不要只盯一个汇总均值。官方会输出每个任务维度的参数误差分布比如机械零件类的P50、消费电子外壳类的P50。不同类别的难点其实不太一样机械零件更吃尺寸精度消费电子外壳更吃连续曲面的拓扑结构。只有把分数拆到类别层面才能定位模型的真实短板。4. 实操复现与踩坑指南4.1 跑通完整流程的最小步骤实际操作下来完整跑通这套基准大致走这几步拉取评测镜像。官方提供了Dockerfile和预构建镜像里面把OpenCASCADE、Python、PyTorch、离线渲染工具都打好了。我第一次是自己手动装的OCCT折腾了大半天后来发现用镜像是最省事的。注意拉取后要校验镜像版本和评测脚本版本一致不然可能出现接口不兼容。下载数据集。把RealCADBench的意图描述JSON、真值序列和参考实体文件STEP格式都拉到本地目录结构大概是这样realdataset/ ├── train/ │ ├── intent.json │ ├── gt_seq.json │ └── step/ ├── val/ ├── test/ │ ├── intent.json │ ├── gt_seq.json │ └── step/ └── schema/ └── command_schema.json让模型生成结果。如果要评测自己的模型需要把模型输出的命令序列导出为和参考序列相同的JSON Schema。这一步是大部分人容易卡住的地方。官方对序列格式做了严格约束命令类型、参数顺序、坐标系单位都要对齐否则评测脚本直接报错。建议先用一个最简单的伪随机序列走通全流程确认输出格式能被官方解析再上真实模型。跑评测脚本。官方提供run_benchmark.py输入是你的预测序列目录和真值目录输出是一个汇总报告包含上表里所有指标的均值、中位数和分位数统计。命令大概是python run_benchmark.py \ --prediction /path/to/preds \ --ground_truth /path/to/test \ --output /path/to/report.json \ --backend occt解析报告。报告会以JSON加CSV两种格式输出。我最常看的两个字段是intent_success_rate和param_error_p50。前者回答“这个模型整体靠谱吗”后者回答“这个模型现有的能力能不能直接进工程”。4.2 常见问题速查表跑这套评测过程中我几乎把能踩的坑都踩了一遍。整理了一个速查表问题现象可能原因处理办法OCCT导入STEP失败单位不一致或坐标系左手/右手不匹配统一到毫米和右手坐标系语义匹配分数普遍异常低所有基线都接近0多模态编码器权重未正确加载检查模型cache和权重路径序列解析报错命令类型和官方Schema不一致先用自带的schema校验脚本跑一遍实体重建进程卡死特征参数越界导致内核计算异常在输出层加合法区间检查GPU OOMbatch size设得过大从8降到2序列长度限制加长不同机器跑同一条数据分数差异大渲染视角或光源未固定使用官方固定渲染配置还有一个特别容易踩的坑和CAD内核特性有关不同内核处理圆角、倒角这类过渡特征的顺序不太一样。官方参考序列是在OCCT环境里验证过的如果你在别的内核里导出了序列某些过渡特征的索引可能会错位。我遇到过一种情况模型输出的特征树逻辑上完全正确但因为倒角步骤放在特征树靠前的位置实际重建出来和参考模型差了0.2mm参数误差直接从4%变成18%。后来我在序列标准化工具里加了一个“特征顺序自动重排”的选项才算彻底解决。4.3 实测有效的效果优化技巧如果你是在这套基准上调自己的模型几个技巧值得记一下温度参数别乱调。CAD命令序列是高度结构化的离散分布温度太大容易在倒角半径、拉伸深度这些数值参数上飘建议固定在0.2到0.3之间。我试过把温度调到1.0生成多样性是上来了但参数误差中位数直接翻倍。后处理参数取整。真实工业设计里孔距通常取0.5mm或1mm的倍数。跑完网络输出后把关键参数做一次最近邻取整能非常有效地降低参数误差而且完全不需要重新训练模型。特征树“先宏后微”。在评测阶段可以明显看出策略差异先生成大轮廓的主特征再叠加孔、倒角、卡扣等细节特征比一次性生成完整特征树的成功率要高。这与人类建模工程师的工作习惯是一致的也是网络输出更贴合真实设计流程的关键。5. 基准之外我的真实感受5.1 给工业软件决策带来的变化作为一个长期关注工业软件和AI落地的人我特别在意评测基准能不能沉淀成产品决策工具。RealCADBench出现以后“AI建模到底行不行”这个问题总算有了一个可量化的回答口径。企业选型的时候可以拿着统一的测试集去跑各家方案直接比意图还原成功率、比参数误差中位数而不是听各家讲演示故事。我觉得这才是基准的真正价值它让行业从一个“看图说话”的阶段进入一个“用尺子量”的阶段。对下游用户来说你可以基于这套指标去判断一个AI建模方案是否值得在真实产线里试点对上游研究者来说你也终于知道自己的模型在哪些维度上差了差在哪一类产品需求上。5.2 可以继续扩展的方向这套思路后续有几个很自然的扩展方向。一是意图输入从文本和约束扩展到PDM系统里的结构化需求条目这样离真实业务更近二是覆盖范围从单零件扩展到装配体直接评测AI生成的产品级结构难度会高一个量级三是加入制造工艺约束比如拔模角度、最小壁厚、避免负角度加工特征这类规则让生成的模型不仅能看还能直接上机床。此外多模态意图的丰富度也值得做深。现在的输入主要是文字加约束未来如果能加入手工草图、装配上下文、公差标注等等那基准的工业贴合度会再上一个台阶。5.3 一点心里话我自己心里清楚评测基准再好终究只是一把尺子不是终点。真正重要的是拿着这把尺子去丈量问题、推动技术演进的过程。RealCADBench把“工业设计意图”从一句口号变成了一组可计算、可验证的指标单就这一点它的意义就比某个模型刷到多少分都大。以后如果再把“可制造性”“设计成本”这类更工业化的约束加进来这个方向会更有嚼头。