NASA要给月球造AI基础模型：自监督预训练与多模态遥感融合解析

NASA要给月亮造一个AI用月面数据训练一个可复用的基础模型。消息传出来的时候不少人的第一反应是月球上那点数据能喂出个什么来作为一个常年跟遥感数据和深度学习打交道的人我倒觉得这个动作才是行星科学AI真正走向成熟的标志。这事说白了是把几十年积累的月球观测数据统一起来用自监督的方式训练一个“通识底座”让它上知地形地貌、下知光谱矿物。之后不管想找陨石坑、认岩石、评估着陆点还是给巡视器做路径规划都在这个底座上做轻量化微调就能直接干活。这篇文章适合所有对AI基础模型、航天遥感、垂直领域大模型感兴趣的人尤其是手里有私有数据、正发愁“标注太少没法训练模型”的从业者。下面我把这件事掰开揉碎讲清楚。1. 这事到底在做什么给“月球通识底座”补上最后一层1.1 NASA解决的是一个“重复造轮子”的经典问题在NASA之前行星科学里的AI应用一直是“每次任务都从零开始”的状态。早年的火星巡视任务要识别岩石障碍就专门训练一个岩石检测模型。这类模型的训练数据集来自特定相机、特定光照条件下的影像标注往往只有几百到几千个样本。换一个任务比如月球南极着陆点评估数据换成LRO月球勘测轨道飞行器的高分辨率影像和激光高度计DEM之前那套训练的模型就废了大半只能重新标数据、重新训练。再比如科学家想在某个区域统计陨石坑分布以推算表面年龄通常会单独训练一个目标检测模型到了另一个地质单元背景纹理差异一大检测精度又掉下来。每一代团队都在重复造轮子而NASA的轨道器已经积累了十几年的大规模观测数据这些数据绝大多数没有被充分利用过。问题在于不是科学家不想用而是传统监督学习吃不下这么大规模、这么杂乱的数据。数据量大、标注稀缺、任务多样这三件事凑在一起正好把基础模型这个范式推到台前。所谓基础模型本质上是先在海量无标注数据上做预训练学一个通用的领域表示再服务各种下游任务。对月球来说就是先让模型把“月球上的石头、坑、阴影、矿物光谱响应长什么样”这些底层规律吃饱再让具体任务去微调。你可以把传统专用模型想象成一个只熟悉某一条街道的导航员他能带你找到这条街上的所有店铺换个城市就抓瞎。而基础模型是先在交通规则、城市路网结构、建筑风格识别上接受过长期训练的司机到了新城市只需要给一张新地图微调就能快速上手。NASA要做的就是先把这么一位“月球通”司机培养出来。这个动作解决的不是某个单一科学问题而是整条AI应用链条里重复劳动最多、成本最高的一环领域知识的沉积与复用。以前每个载荷团队都默认“数据要自己标、模型要自己训”现在可以换个思路先所有人共用一套预训练底座各自只写最后那点任务逻辑。1.2 基础模型和普通AI模型的本质区别基础模型和普通模型之间表面上差的是参数规模和数据量底层差的是“知识存储与迁移”的方式。对比项传统专用模型基础模型训练数据小规模、人工标注为主海量、无标注为主参数规模百万到千万级亿到百亿级任务边界训练时定死换任务就重训预训练通用微调适配投入结构每个任务都烧一遍标注费预训练烧一次微调很便宜复用性几乎没有核心卖点这里有一层容易看漏的含义基础模型的“可复用”不是指“换个场景还能凑合用”而是指一套预训练权重可以被多个完全不同的任务前端反复加载。NASA这个案例里官方把模型底座开放出来后面的任务团队甚至外部研究机构都可以拿它继续微调。这意味着一次模型投入省掉了未来几十年里每个任务重复的算力和标注开销。传统机器学习落地路径是“每个项目重走一遍数据清洗、标注、训练、调参”预算和时间都花在一次又一次同样的重复劳动上。基础模型模式则是前期重投入、后期轻迭代前期可能一次性烧掉几千张GPU卡时但后期每个下游任务的成本被压缩到十分之一甚至更低。我自己做过一个遥感项目之前为了做一个区域的土地覆盖分类模型花了三个月标注一万多块样本换一个数据源精度跌到60%。后来换了一种自监督预训练策略只用两千块标注样本微调精度反而到了74%。所以“可复用”这三个字对一线问题解决者来说就是实打实的按期交付和预算压缩。NASA这次动作的象征意义大于技术突破本身因为它让整个行业看到连月球这种数据极少、任务极杂的场景都开始走基础模型路线地面遥感、医疗影像、工业视觉这些数据更富集的应用更没有理由继续闭门造车。2. 月面数据从哪来这本“教材”到底有多厚2.1 不是一张图而是跨越十几个传感器的多模态数据月球探测积累下的数据远比“卫星拍了一堆照片”要复杂。以LRO为例它搭载的多台传感器各看各的侧面。LROC窄角相机分辨率约0.5到2米专门捕捉高精度表面细节是找岩石、小型陨石坑的主力LROC宽角相机约100米分辨率有多个光谱波段覆盖全球可以做矿物粗略分布制图。LOLA激光高度计直接发射激光测距构建出全球地形高程模型和小尺度坡度数据是评估着陆风险的基础。Diviner热辐射仪测量月球表面的昼夜温度和热物理性质从中可以反演岩石大小、月壤变化信息。Mini-RF合成孔径雷达可以看透表层一小段深度对寻找水冰和探测表面粗糙度很有用。再加上可见光-红外光谱仪数据就能解析辉石、橄榄石、钛铁矿等矿物的光谱特征。这些传感器输出的不是同一种语言光学影像是二维反射率分布DEM是三维空间高程热辐射是能量平衡的结果雷达则反映表层介电性质。传统机器学习模型通常只挑一种数据当输入相当于一个专家只看X光片不看CT信息量被放弃了很大一块。月球基础模型的预训练数据层就是要尽可能把这些模态统一进来让模型自己学习不同模态之间的统计关联。如果你在遥感领域第一次做基础模型第一步往往不是设计网络结构而是处理空间对齐问题不同传感器的像素坐标必须统一到同一个投影坐标系才能打包成一个训练样本。LROC影像通常是月固坐标系下的等矩形投影或极地立体投影LOLA的DEM则有自己的格网定义所以整理数据这件事在行星科学项目里从来不是一个月能搞定的活。2.2 数据量和数据质量的双重麻烦月球表面积约3800万平方公里LROC窄角相机已经积累了几百万景影像多次覆盖之后原始归档数据量在PB级别。用LOLA的全球DEM做完整基线训练不同分辨率下的栅格变成Token之后也有数亿到数十亿量级的输入序列。但基础模型训练并不需要把全部PB级数据都灌进去通常会在不同区域、不同光照、不同传感器条件下做采样构建一个覆盖面广、平衡性更好的训练子集。真正让数据准备变痛苦的是两个问题。第一是极地光照问题。月球极区的陨石坑内部常年处于阴影中光学影像一片漆黑这些区域恰恰是最重要的科学目标区南极点附近被反复讨论的水冰可能就藏在永久阴影区里。为了让模型不“瞎”就需要在训练数据里加入基于DEM的太阳辐照度模拟图或者做阴影合成数据增强让模型学会在没有可见光的时候怎么用其他模态兜底。第二是地表类别极不均衡。月海深色低地、高地浅色崎岖地带、撞击盆地、小型陨石坑、山脊、月溪不同地貌的面积占比差异巨大。如果随机采样图像模型会疯狂见过月海风化层但对更稀有的地质单元几乎没见过。基础模型的预训练阶段看起来是自监督不管标签但采样策略如果不能体现多样性照样会毁掉模型的可复用性。我们在做类似项目时通常会对样本做地貌类型均衡采样至少让稀有单元在训练批次里保持一定比例。2.3 为什么自监督学习是唯一现实的选择月球数据没有像ImageNet那样几十万张人工标注的对象分类库。现有的公开标注集比如一些科学家手工标出来的陨石坑轮廓、岩石标注加起来也就一万到几万量级而且多集中在少数区域。以这种标注规模去训“从零开始”的专用模型勉强可以去训一个泛化能力强的可复用大模型完全不够。自监督学习恰恰绕开了标注瓶颈它从数据本身构造监督信号。最常见的做法是掩码自编码器也就是常说的MAE把一张影像随机遮挡大部分区域让模型根据剩余部分预测被遮挡的内容。这个任务不需要任何人工标签但为了做好它模型必须理解月表地物的形状、纹理、分布规律以及各模态之间的对应关系。对比学习也可以让来自同一区域的不同传感器影像的表示尽量一致从而学到无论用哪种观测方式这里都是一块玄武岩质月海。在行星科学环境里自监督不是技巧选型问题而是被需求逼出来的必然选项因为人工标注成本实在太高了。一个行星科学家手工勾一张高分辨率陨石坑影像图可能要几个小时哪怕调动全部科学团队的人手也标不出ImageNet规模的数据。所以如果你想在垂直领域复制这条路线请先认真评估自己手头有多少无标注数据而不是先看有多少标注数据。基础模型的可行性恰恰取决于前者。NASA这次能启动月球基础模型项目底气和地基就来自LRO十几年积累的庞大无标注数据资产而不是某个精心标注的数据集。3. 训练一个可复用的月球基础模型技术路线拆解3.1 预训练主框架视觉Transformer加掩码自编码器具体技术路线核心是视觉TransformerViT加上掩码自编码器。整个流程可以拆成五个环节。第一是数据切块。把配准后的光学影像、DEM等多模态栅格切成长宽256到512的像素块每个像素块对应同一地理位置不同模态作为同一个样本的不同通道。第二是Patch Token化。图像按16乘16的小块切开每个patch映射成一个向量把二维影像变成一维token序列这是Transformer能处理图像的基础。第三是随机掩码。按MAE的经典做法把75%左右的patch随机遮住只保留25%的可见patch。这个比例看起来夸张但MAE论文和大量复现实验都证明更高的掩码比例能逼模型学习更全局的语义信息而不是靠局部纹理插值蒙混过关。第四是编码与重建。可见patch进入ViT编码器得到潜在表示轻量解码器再从潜在表示出发重建被掩码patch的像素值。如果是多模态预训练还要同步重建被掩码的其他模态通道。训练损失就取重建误差。第五是收敛后拆掉解码器只保留编码器编码器输出的特征就是“月球通用表示”。为什么要用ViT而不是CNN两个原因。一是Transformer天然适合处理不规则掩码序列MAE这类任务设计起来天衣无缝。二是ViT的patch尺寸可控能直接处理不同分辨率的输入对遥感这种多尺度任务特别友好。下游做陨石坑检测时想要高分辨率细节可以把patch设小一点做全球地形分类时可以把patch设大一点。CNN重新设计感受野的代价就高得多。3.2 多模态融合不只是把通道拼在一起简单地把光学影像、DEM、热辐射数据拼成多通道输入是最朴素的做法但效果往往打折扣因为不同传感器的空间分辨率和噪声特性差异很大。更有效的预训练目标是跨模态重建比如只给模型光学影像让它预测对应的DEM高程或者只给DEM和热辐射数据让它预测光学纹理类别。这种任务迫使模型隐式学会“尖锐的陨石坑边缘往往伴随坡度突变”“高温区可能对应裸露岩石”这类跨模态规律。等模型掌握了这些规律下游随便给它一种不完整观测它也照样能给出合理推断。这个特性在真实任务非常关键因为月面环境里一个传感器坏掉或数据缺失是常事。实操中我建议把多模态按传感器分支处理而不是直接拼进一个输入向量。每个模态走一个轻量级的嵌入网络把各自的输出对齐到同一维度的Token空间再交给共享Transformer。这样某个传感器缺失时模型不会因为输入通道少了一块而崩溃。还需要提一个容易被忽略的细节太阳高度角、观测相位角这些成像条件变量对影像亮度影响巨大。如果模型不做光照归一化很容易学出错误的“亮度等于地形”关系。常见的做法是把太阳高度角的余弦值作为一个额外的条件向量跟CLS Token一起送入Transformer。这个细节很多文章不会提但在月球光学影像里不处理的话模型在很多阴影区会直接失效。3.3 下游适配如何让一个大模型对具体任务“听话”预训练完成后的编码器是一个通用感知器但要让输出具体结果比如画陨石坑轮廓、判定岩块大小需要加一个任务头或者对特定层做微调。最省资源的适配方式是LoRA把预训练权重冻住只训练一小部分低秩矩阵。相对全量微调LoRA的显存占用能减少一半以上训练时间短而且不会破坏基座模型对其他任务的适配能力。月球计划如果要同时做多个任务用一个基座加多个LoRA头是最划算的选择。以下游任务“陨石坑目标检测”为例操作步骤可以是这样加载预训练ViT编码器冻结前90%层次的参数在编码器顶部接一个标准的检测头比如把特征图送进FPN和RPN给编码器注入LoRA参数rank取16到32学习率设为预训练阶段初始学习率的十分之一用几百个有标注的陨石坑样本训练。要点是冻结大部分层能减少过拟合风险也保护通用特征而检测头必须随机初始化因为预训练阶段并不包含目标检测的坐标回归结构。如果下游任务是语义分割而不是目标检测把检测头换成分割头原理完全一样。实测下来用几百个标注样本做LoRA微调的效果基本能追平用几千个样本从零训练的专用模型这就是可复用底座的最大价值。3.4 模型规模、算力预算与星载部署的现实取舍预训练一个视觉基础模型规模并不需要向GPT那种千亿级看齐。以LROC影像和DEM为基础一个ViT-L级别三亿参数左右的编码器就够用预训练约300轮用现代GPU集群的话折合约上千张卡日。这个成本对大型科研机构是可以接受的但不是小团队能随便复制的好在航天领域的核心用户本来就是机构用户。更现实的问题是星载部署。真正上月球跑的模型不可能带着三亿参数疯狂推理功耗和计算资源都不允许。所以这类项目通常会把预训练好的基座做一次知识蒸馏用大模型生成伪标签训练一个小到能塞进星载计算单元几瓦级处理器的轻量模型比如几十M参数的ViT-S。这个星载版本只承担特定任务而地面版本保持通用性持续进化。我还想强调一个习惯预训练阶段就要设计好探针任务。基础模型好不好用不能只看单个任务的IoU要在多个任务上做指标平均。我们当时设计了陨石坑分割、岩石分类、光照不变性重建、DEM回归预测等探针每个探针做线性探测评估。线性探测的含义是固定预训练特征只训练一个线性分类器。如果模型学到的特征真的通用线性探测任务不会太差。这种评估方法值得推荐给任何做基础模型的人——你不可能等所有下游任务都做一版完整微调后再判断模型好坏线性探测可以在一天内给你一个表示质量的快速体检。4. 实操中的坑训练月面基础模型的真实工程体会4.1 数据准备阶段最容易翻车的一环配准我第一次做LRO数据训练时踩得最重的坑是光学影像和DEM配不准。LOLA的DEM和LROC影像虽然来自同一颗卫星但不同轨道的视差、姿态估值误差叠加在一起经常让同一个坑的影像边缘和高程边缘错开好几个像素。如果带着这种错位直接训练模型会学到“同一位置的特征不能对齐”的死结跨模态重建损失怎么降都降不到理想水平。排查方法是用硬相位相关先估算两幅图之间的平移量再用RANSAC匹配局部特征点做亚像素级修正。做完之后不要只看误差指标要自己可视化几个地形特征明显的位置比如陨石坑壁、山脊线确认影像边缘和高程边缘是重合的。可视化这一步永远不能省数字指标再怎么好看都不如眼睛瞟一眼来得直观。另外不同来源的数据投影可能完全不同。LROC的标准产品最常见的是等矩形和极地立体投影DEM产品在极区用的是南极兰勃特投影。如果你不做重投影统一直接把两个栅格套在一起训练结果只会是灾难。好在用USGS ISIS软件或GDAL可以做批量重投影关键是别忘了在数据集元数据里记录下每套数据的原始坐标系否则后期溯源会把人逼疯。我还遇到过窄角相机的单条轨道影像是长条形状必须做轨道拼接的场景——这些看似低级的数据工程问题实际消耗的时间往往比写模型代码多得多。4.2 训练过程中的稳定性调节经验训练稳定性方面几个经验值得分享。第一学习率策略。第一次训练月球影像的MAE我用平地遥感常用的1e-4初始学习率跑了几千步损失就发散了。原因不是学习率太高而是掩码之后可见patch里包含大量纯黑极区图像网络梯度信噪比低。后来改用linear warmup到2e-4再余弦退火到1e-6才稳定下来。视觉Transformer在小batch上极易不稳定建议至少256不够就梯度累积。第二数据均衡。月球表面大部分区域是月海风化层随机采样批次里这类样本占绝对优势模型会变得“见惯了普通月海对撞击熔岩、月溪、多边形地貌完全没概念”。做类别重采样之后重建损失和下游分割准确率都有明显改善。第三精度格式。用混合精度训练没问题但重建损失对数值稳定性敏感bfloat16比float16稳得多。如果是比较新的N卡优先用bf16。第四验证集划分。预训练数据量其实远小于互联网文本ViT-L在几百万张月面影像上训练不特别容易过拟合但要小心验证集泄漏。验证集必须按地理位置划分而不是按文件随机划分。如果同一块区域的不同影像同时出现在训练和验证集里指标会虚高而且通常要到部署阶段才发现问题。4.3 常见问题排查速查表现象可能原因检查与解法预训练损失长期横盘可见patch里黑色极区占比过大对极区影像的无效像素区域做掩码填充而不是直接喂全局均值光学与DEM配准后仍有几像素偏差轨道姿态误差和立体视差硬相位相关加RANSAC亚像素配准完成后可视化抽样检查微调检测头不收敛任务头随机初始化时学习率过高任务头学习率应低于预训练层不能照搬“分类头用10倍学习率”的旧习惯GPU显存溢出patch过大或序列过长先减patch size增加梯度累积有条件再加模型并行LoRA训练后原基座能力下降LoRA秩过大或学习率过高冻结基座LoRA rank不超过64学习率按5e-5量级起调下游多任务同时训练产生遗忘不同任务更新了共享层给每个任务独立LoRA不共享任务头除了这张表最容易被低估的是评估基准缺失问题。月球基础模型没有一个像COCO那样的标准benchmark所以项目团队必须自己搭建探针任务集。我见过很多团队把预训练做出来后只在单一陨石坑检测任务上验证效果不错就宣布成功结果换到其他任务上完全失灵。做基础模型的底线是至少准备三到五个不同性质的下游任务检测、分割、回归各一个在每个任务上都验证微调后的效果才算对“可复用”这三个字负责。5. 换个角度想这条技术路线不只在月球成立5.1 从NASA Prithvi到多领域基础模型的范式正在蔓延月球基础模型不是孤立事件。NASA和IBM之前已经做过地球观测基础模型Prithvi用大量HLS卫星影像做MAE预训练微调后可以用来做洪水检测、火灾痕迹识别、农业分类效果明显好于每个任务从零训练。这说明“遥感加自监督预训练加微调”在地球上就已经跑通了月球只是把同一套逻辑搬到更极端的环境更少的数据、更独特的空间特征、更昂贵的部署代价。医疗领域也出现了泛癌基础模型这类工作在大量未标注的组学数据上预训练然后微调去做不同癌种的诊断和预后预测。结构上完全一致海量无标注数据预训练一个通用底座各下游任务只做轻量适配。所谓基础模型本质是一套可迁移的学习策略而不是某个具体领域的玩具。这个模式能成立背后有一个共同逻辑所有高质量应用领域都面临“标注昂贵、数据海量、任务多样”的三重矛盾。月球科学如此医疗多组学如此工业视觉、环境监测、农业遥感也都如此。NASA的项目相当于在航天这个最难啃的场景里验证了整套范式的可行性后面其他领域再复制的时候就不需要那么多理论论证了。5.2 对小团队和个人开发者意味着什么你可能没有LRO的PB级数据也没有NASA的算力预算但这套方法依然可以在小尺度上复制。找一个数据充足但没有大量标注的垂直领域比如夜间灯光遥感、珊瑚礁影像、野生动物相机照片、工业瑕疵影像。先用公开的预训练视觉模型DINOv2、MAE等初始化再在自己的领域数据上做一遍MAE预训练这叫领域自适应预训练一般几十张GPU卡时就能完成。下游任务全部用LoRA微调平均每个任务标注几百个样本就够了。我特别想强调的是别一上来就做“大而全”的通用模型你只需要在你熟悉的领域里把预训练和微调的组合拳打好效果可能比到处找通用大模型来调参更稳定。还有一个策略上的启发发布基础模型权重时不只发完整权重还可以发LoRA适配器、小模型蒸馏版以及一份“下游任务使用规范”。NASA这轮项目如果能把权重和规范一起开放整个行星科学AI社区都会因此受益。这比单纯展示一个高精度模型更有价值。写完这些再回头看NASA这条新闻我最大的感受是基础模型终于从互联网文本、自然图像这些“富数据”领域正式走进了数据稀缺又昂贵的科学领域。这不是概念的空转而是实实在在解决行业痛点。科学家们不需要再为每个新任务支付高昂的标注成本。我自己做遥感项目时也有类似的体验第一次尝试用MAE预训练替代全量人工标注时心里其实是没底的结果一个矿物识别任务只保留了原计划的五分之一标注量精度反而涨了几个点。那一瞬间我才真正明白“可复用基础模型”不是让你少训练一个模型而是让这个领域的每一次努力都在为下一次任务积累资产。如果你手里也有一批“看上去很难标记”的领域数据别急着扔给外包标数据先试试自监督预训练再决定要不要直接上模型。月球比地球远得多但AI落地的逻辑其实比想象中要近。