好未来视觉算法笔试复盘：从目标检测到模型轻量化的工程实战

1. 写在前面一次秋招笔试引发的思考每年到了八九月份各大厂的秋季招聘笔试就密集开考了。今年好未来视觉算法岗的第二批笔试题目整体呈现出一个非常明显的趋势不再考单一的知识点而是把分类、检测、分割等多种任务能力混在一起考察你在真实场景下的综合解决能力。作为一个经历过不少CV笔试的人我第一次做这套题的时候感觉挺有意思的和第二批笔试的题目设置也有不少重合和延展。这篇文章我想从笔试题目本身出发把涉及的核心知识点、解题思路、以及我踩过的一些坑都拆开聊一聊。不管你是准备秋招的应届生还是想系统梳理视觉算法知识体系的在职工程师这篇文章都能给你一个相对完整的参考框架。尤其是那些“课本上没写但笔试常考”的细节我会重点提。2. 笔试整体设计思路拆解好未来在考察什么2.1 为什么笔试会这么出题好未来的业务核心是教育而教育场景下的视觉任务和通用场景有比较大的差别。比如课堂场景下的学生行为分析、纸质作业的OCR识别、题目拍照搜题、公式识别、口算批改等这些都是他们真实业务中会遇到的问题。因此笔试题目不会只考一个单纯的模型精度而会连带考察你在真实场景中对数据、计算量、鲁棒性等的理解和权衡。从第二批笔试的题目构成来看大的模块主要包括图像分类与细粒度识别目标检测与定位图像分割尤其是语义分割和实例分割多任务学习与模型轻量化传统图像处理与深度学习的结合也就是说你需要对视觉算法的主流方向都有基本认知而不是只把某一个模型背得很熟。2.2 出题人最看重的能力项我在做这套题的过程中明显感觉到出题人想筛选的不只是“会调包”的人而是具备以下三种能力的人问题拆解能力给定一个实际业务问题能不能把它拆成可执行的算法子任务。比如“识别学生是否在举手”这个需求背后其实涉及到目标检测、姿态估计、时序判断等多个子问题而不是简简单单训一个分类模型就能解决。工程化思维模型不仅要准还要考虑推理速度、显存占用、模型大小、部署环境。笔试中专门有一道题让你计算在不同硬件条件下的耗时和精度平衡这就是工程落地中真实会遇到的问题。知识迁移能力传统图像处理和深度学习不是对立的很多业务问题用传统的颜色空间、边缘检测、形态学处理就能快速解决没必要杀鸡用牛刀。笔试里就有一道题专门考察这个点。这套笔试的难度其实不是说每道题都深到做不出来而是覆盖面广每个方向都考一点。如果你想在限定时间内拿到高分平时的积累深度和广度缺一不可。3. 核心知识点拆解与答题策略3.1 图像分类不只是“会用ResNet”就行分类题在笔试中永远不会缺席但现在的分类题往往不会直接问你ResNet的结构而是会结合具体场景。比如给定一个包含100万张带噪声标签的教育类图片数据集类别数为5000请设计一个分类方案要求精度高且训练时间可控。这类题目的考点其实有三个维度噪声标签的处理。真实场景中数据的标注质量很难保证。常见做法包括置信学习Confident Learning、标签清洗、用模型预测结果辅助筛选错误样本、或者设计鲁棒性更强的损失函数如对称交叉熵、广义交叉熵等。笔试中如果能提到你可以通过“预训练模型预测人工校验”的方法做标签清洗通常能让面试官眼前一亮。长尾分布问题。5000个类别必然会有很多类别的样本数量非常少。这时候常用的思路有类平衡采样、解耦训练先正常训练再单独学习分类头、logit adjustment等。答这类题的时候不要贪多抓住两三个核心手段讲透就好。训练效率。100万张图片说大不大说小不小单机训练可能要好几天。这时候可以提到分布式训练如混合并行策略、混合精度训练、学习率调度策略如余弦退火以及如何通过早停和模型EMA稳定训练。做题的时候我建议按照“数据层面→模型层面→训练策略层面→评估层面”的结构来组织答案这样做的好处是思路清晰不容易漏点。3.2 目标检测anchor-based与anchor-free的取舍检测题在好未来的笔试中占的比重比较大因为很多业务场景都需要定位目标。比如“在课堂监控画面中定位每个学生”就属于密集场景下的目标检测。这道题让我印象比较深在课堂场景中需要检测40-50个学生的人头位置要求实时处理1080P视频流。候选方案包括Faster R-CNN、SSD、YOLOv5、FCOS等你会选择哪种为什么答这道题的核心在于看清限制条件实时1080P密集小目标。如果不限算力Faster R-CNN这种两阶段检测器的精度确实更高尤其是对密集小目标的召回率表现不错。但在实时性要求下两阶段检测器很难跑到满意的帧率。SSD速度不错但对小目标的检测效果一直不太理想因为浅层特征图虽然分辨率高但语义信息不足深层特征图又丢了空间细节。YOLOv5或更现代的YOLOv8和FCOS是更合理的选择。它们都是单阶段、anchor-free或YOLOv5的anchor-based但自带自适应anchor计算在速度和精度之间平衡得比较好。尤其是FCOS这类anchor-free方法没有anchor超参数在密集场景下不需要调一堆长宽比工程上更省心。如果想要提升密集小目标检测的效果我个人的经验是几个点输入分辨率别压太低1080P的画面如果直接缩到640x640小目标很容易丢。可以试试1024甚至1280但要注意显存和推理时间。数据增强里加上随机裁剪和拼接如Mosaic、Copy-Paste对密集场景帮助特别大。后处理用Soft-NMS或者DIoU-NMS能有效减少密集目标之间的框抑制误杀。此外笔试中如果提到“课堂场景”你还应该联想到一个隐含问题——摄像头角度通常是俯视这意味着人头目标普遍存在尺度变化大、遮挡严重的情况。能意识到这一层说明你有真实场景思维这也是加分项。3.3 图像分割场景理解的关键模块分割题在好未来的笔试里主要考察语义分割和实例分割的区别以及在实际业务中的选型。比如有一道题需要从一张拍摄的纸质试卷图片中分割出“题目区域”“手写答案区域”和“印刷文字区域”请给出技术方案。这里实际上是在考一个很常见的文档版面分析问题而不仅仅是传统意义上的图像分割。可以从几个层面来回答传统方法如果试卷是扫描件、版面结构规整可以先做二值化大津法Otsu再用连通域分析或形态学闭运算提取区块。这个方法速度快、无需标注缺点是比较脆弱遇到手写压线、印刷倾斜、光线不均等场景容易翻车。深度学习方法用分割模型如U-Net、DeepLabV3做端到端的区域分类每个像素预测其属于“题目”“手写答案”还是“印刷文字”。这类方法效果好但需要标注数据。训练数据不够时可以先用合成数据把印刷体和手写体按不同位置贴到模板上做预训练再用真实数据微调。混合方案先用传统方法快速做版面切分再对每个小块用分类模型判断类型。这种方案在工程上很实用因为速度快、可解释性强且每个模块都可以独立优化。我当时在作答时还提到了一个细节分割模型在输出概率图之后通常还需要做后处理如条件随机场CRF或简单的形态学后处理来让边缘更干净。虽然现在很多深度模型已经内置了隐式的边缘平滑能力但在文档图像这种边缘很锐利的场景下后处理仍然有一定收益。3.4 多任务学习和模型轻量化落地能力试金石好未来的笔试非常关注“模型能不能跑在真实设备上”。其中有一道题直接问如果只能使用一个神经网络同时完成“检测题目中的公式”“识别公式内容”“判断题目类型”三个任务你会如何设计这道题考察的就是多任务学习的设计思路可以按照下面的层次来回答共享骨干网络用同一个Backbone提取特征再接多个Head分别输出检测框、识别结果和分类结果。这样设计的好处是计算量只花一份特征复用率高。任务相关性的权衡公式检测和识别是强相关的任务可以共享更浅层的特征题目类型分类和它们相关性稍弱最好在分支早期就分流避免互扰。损失函数设计多个任务的损失量纲不同需要用可学习的权重来动态调节比如基于同方差不确定性的加权否则一个任务的loss可能会压过另一个。模型轻量化方面笔试中提到了MobileNet、ShuffleNet、NAS等轻量网络结构。对于教育场景的拍照搜题这类功能大量请求来自手机端模型大小和推理耗时就非常敏感。常见的优化手段有量化INT8量化通常能在精度损失很小的情况下把模型压到原来的四分之一同时推理速度大幅提升。蒸馏用一个大模型做Teacher教一个小模型做Student能在保持较高精度的同时显著缩减模型体积。剪枝和神经架构搜索对于有充足离线算力的团队可以通过NAS搜出一个专为特定任务定制的轻量网络效果往往比手动设计好。回答这类题目时有一个实用技巧把模型的“参数量-计算量-精度”三者的权衡关系说清楚比单纯罗列一堆模型名称更有说服力。你可以画一个简单的逻辑链——业务需要实时→模型必须小→小模型精度不够→用蒸馏/量化/结构搜索补偿精度。4. 实操过程复盘我是怎么做这套题的4.1 考前准备与时间分配说实话我一开始低估了这套题的题量。整套试卷包含选择题、简答题和一道完整的算法设计大题限时120分钟。如果每题都慢悠悠地写后面的大题基本写不完。我的建议是先花3-5分钟从头到尾扫一遍所有题目对难度和题量有个整体判断然后按照“先易后难、先简答后设计”的顺序来做。做简答题的时候不要上来就写长段文字先列要点再展开。这样即使时间不够阅卷老师也能快速看到你的思路框架。4.2 算法设计大题的现场思路压轴的那道算法设计大题我印象很深题目大概是设计一个系统用于自动批改小学数学口算题。输入是学生手写拍照的图片输出是每道题的对错判断。请描述你的完整技术方案包括数据、算法、模型评估和部署。这是一个综合性的题目几乎把前面所有知识点都串起来了。我当时采用了“图像预处理→题目区域检测→手写数字识别→计算逻辑判断”的四段式方案具体为图像预处理先用透视变换校正拍摄角度再用自适应阈值二值化把背景和字迹分开。由于是手写图片光照不均很常见所以这一步使用自适应阈值比全局阈值更稳妥。题目区域检测用检测模型或传统版面分析把每道小题的区域框出来。如果题目是规整排列的用简单的投影法就能切分得比较干净。手写数字识别对每个切分出来的区域做手写数字/运算符识别。这里可以用一个轻量级CNN模型比如类似LeNet的改进版或MobileNetV2来完成。关键是要处理手写数字笔画断裂、粘连等问题训练数据需要大量真实的学生作业图片。计算逻辑判断把识别出的数字和运算符解析成表达式计算结果并和标准答案比对。这个模块用规则引擎就行不涉及模型。评估方案上不能只看整体准确率。你要定义几个细粒度指标如“题目区域检测的IoU”“数字识别准确率”“整题对错判断准确率”。因为最终业务关心的是“整题判断正确率”但这个指标如果太低你需要能定位到是检测出了问题还是识别出了问题还是计算逻辑出了问题。部署层面考虑到实际场景可能是手机拍照上传离线批改或老师端即时批改在线推理模型需要量化和裁剪。如果是在服务端部署还要考虑并发请求的吞吐量如果是端上部署则需要把模型压缩到十几MB甚至几MB以内。4.3 现场作答的一个失误与补救做题的时候我在“计算题算术表达式的规则”上纠结了比较久因为口算题里可能存在类似“34×2”这种优先级问题而低年级口算通常是不含混合运算的但题目描述里并没有明确说明。我当时的处理方式是先在方案里假设“不含混合运算按从前往后顺序计算”同时注明“如果包含混合运算可在解析表达式的模块中加入优先级处理改动很小”。这种处理方式其实暗示了你对边界情况有感知并且方案具备可扩展性。笔试结束后我复盘觉得这个补充写得比较加分比硬着头皮把两种都实现完要聪明。4.4 做题过程中的时间把控因为在前面选择题和简答题上花费较多时间我做最后一道大题时只剩大约35分钟。当时我的应对策略是先写框架再填细节。也就是先把整个方案的流程图和各模块的输入输出写清楚再针对其中几个关键模块补上具体的模型选型和参数设置。哪怕最后细节没写全整体架构已经摆在那里了阅卷人能看到你的完整思路得分依然不会低。如果你即将参加这类笔试我的核心建议是平时练习时一定要卡时间做完整套题不要只挑自己会的题慢慢磨。考场上时间管理比某道题会不会更决定你的总分。5. 常见问题与排查技巧实录5.1 模型精度不够先别急着换模型笔试和实际工作很相似的一点是——你拿到一个问题时第一反应往往是“我换个更牛的模型”。但实际上很多情况下模型本身没问题是数据或训练策略的问题。我总结过一套排查顺序这里分享给你先看训练集和验证集的loss曲线。如果训练集loss在降而验证集loss不降或升高基本可以断定过拟合。优先做数据增强、加正则化、增大数据量而不是换模型。再看样本可视化结果。把预测错误的样本打印出来看一下很多问题一眼就能定位。比如所有漏检的目标都是遮挡严重的那可能就是标注标准不统一的问题而不是模型能力不够。检查数据标注质量。我在实际项目里遇到过好几次模型反复在一个类别上学不好最后发现是标注框错位或者类别混淆严重。先清洗数据再谈模型改进会高效很多。最后才回到模型结构。确认数据和训练流程都没有明显问题后再考虑是不是模型容量不够、感受野不匹配、或者用了不合适的归一化方式。很多笔试简答题其实考的就是这种排查思路而不是让你背一堆模型结构。答题时能体现这种“从全局出发定位问题”的意识往往能拿高分。5.2 关于公式识别不要迷信端到端现在很多OCR相关的技术方案喜欢直接上端到端模型输入图像直接输出LaTeX公式但在教育场景的公式识别上我个人的经验是端到端方案很吃数据且公式风格多样时容易翻车。更稳的方案是把公式识别拆成“公式检测公式结构解析符号识别”的子任务。先用检测模型把公式区域框出来再用结构解析方式如基于注意力机制的编码器-解码器架构把符号、上下标、根号等结构还原成LaTeX。这样做的好处是每个环节都可以单独优化而且数据获取上公式检测的数据可以人工标注结构解析的数据可以通过程序生成LaTeX渲染图来扩充不用依赖大量真实手写公式数据。笔试中如果遇到公式识别相关的问题可以多说一句“手写公式和印刷公式在数据分布上差异很大需要分开处理并分别评估”。这种细节往往比泛泛而谈的“用OCR模型识别”要专业得多。5.3 分割和检测的联动技巧很多场景下检测和分割不是两个孤立的任务。比如在课堂学生行为分析中你可能先用检测框定位学生但他具体是坐着、举手、趴桌子还是低头写字光看一个矩形框是不够的必须结合分割或姿态信息。我在笔试中遇到的一个经典问题是如何判断一个学生是否在举手最简单的方案是在检测到人之后裁出人体区域再送进一个分类模型判断姿态。但这个方案对遮挡场景比较敏感。更好的做法是结合人体关键点检测如OpenPose、HRNet先找出人的手部和肩部、头部关键点然后通过几何关系判断手是否举过头顶或高于肩部。这样做的好处是判断逻辑完全可解释而且不依赖大量“举手/不举手”的整图标注数据只需要有骨架标注即可。这其实反映出笔试的一个隐含考点你能否基于现有基础模型快速组合出解决业务问题的新方案。这比单模型精度重要得多。5.4 传统方法不只是“老古董”在笔试的多个题目中传统图像处理手段都作为“高效解决方案”出现。这点我觉得挺重要的——很多深度学习的从业者容易忽略OpenCV、形态学处理、边缘检测等经典方法的价值但实际上它们在某些场景下又快又准。给大家举几个我实际用到的例子答题卡识别如果答题卡版式固定用透视校正投影法切分模板匹配就能做到99%以上的准确率完全不依赖深度学习模型推理耗时极短。手写区域检测在一张白纸作业上找手写字区域可以先做二值化膨胀再找连通域并合并成区域块。用传统方法做候选区域生成再用CNN做精细分类是很多OCR系统的实际套路。模糊检测拍照搜题场景中用户拍的照片经常模糊。用Laplacian算子的方差就能快速判断图像是否模糊不需要训练什么模型。这是一个非常经典的工程实践技巧。如果你在笔试中能在恰当的地方提到这类传统方法和深度学习的结合方案通常能体现你用更开阔的视角去解决问题这比只写“我上一个大模型”要加分不少。6. 一套通用的视觉算法笔试准备框架经历了这次好未来的笔试以及之前多家公司的多轮面试笔试我总结了一套相对通用的准备框架分享给你。6.1 知识体系要“横到边竖到底”横向来说图像分类、目标检测、语义分割、实例分割、关键点检测、图像生成、OCR、视频理解这些主流方向你至少都得知道基本原理和代表性模型。不需要每个都精读论文但要能在问到的时候说出它们各自适合什么任务、有什么优缺点、主流方案是什么。纵向来说选两三个你最熟悉的方向深挖到底。比如你对检测特别熟那么从Faster R-CNN到YOLO系列到DETR系列的发展脉络你要能讲清楚能画出每个模型的框架图能说出关键改进点的motivation和效果。面试时“深度”往往比“广度”更容易打动面试官。6.2 业务场景感从“会模型”到“会方案”笔试里面很多题目本质上不是编程题而是在问你“针对这个业务问题你会怎么设计方案”。这种能力只能靠平时多积累多思考。我的习惯是看到任何一个CV相关的产品功能都会下意识地拆一下它的技术链路。比如看到作业批改App我会想它是怎么把学生手写答案从图片里定位出来的、怎么识别手写内容的、怎么和标准答案比对的、怎么做模糊图片处理的。这种思考不一定需要上手做关键是培养“从产品需求到技术方案”的映射能力。在笔试中你答完一个方案的各个模块后如果能补上一句“这个方案在计算量上主干模型大约X GFLOPs在GPU上能跑到Y FPS在手机上量化后约Z FPS”这种数字感会让你的答案非常有说服力。6.3 看懂题目背后的“潜台词”笔试题目里有一些看似无关紧要的措辞其实暗藏信息。比如题目中出现“包含100万张图片”实际上是在暗示你要考虑数据规模带来的工程问题。出现“真实课堂场景”暗示要考虑光照、遮挡、视角、密集目标等噪声因素。出现“实时处理”暗示要关注推理延迟和模型轻量化。出现“标注质量不高”暗示要考虑弱监督、半监督或噪声标签问题。做题时一定要把这些条件圈出来并有针对性地在答案中回应。这是从“会背答案”到“会答题”的关键一步。6.4 复习资料怎么选笔试准备不需要把几十篇论文从头看到尾但要有一条清晰的主线。我个人的复习路径是基石CS231n课程笔记 李航《统计学习方法》中的相关章节把机器学习、CNN基础、反向传播、损失函数等基本概念打牢。模型脉络以几篇关键论文为主线梳理发展史——AlexNet→VGG→ResNet→DenseNet→EfficientNet分类Faster R-CNN→YOLO系列→FCOS→DETR检测FCN→U-Net→DeepLab系列分割。工程经验多逛一些技术社区看看一线工程师分享的部署经验、踩坑记录。这些东西课本上没有但笔试和面试里出现频率极高。复习过程中建议对每一个经典模型都亲手画一遍结构图并且能用自己的话解释清楚每个模块的作用。你把图画出来了、讲顺了考试时遇到相关题目脑子里自然就有清晰的框架。7. 最后分享一点我的个人体会做完这套好未来秋招视觉算法岗的笔试我最大的感触是现在的算法岗位对人才的要求越来越全面了。你不仅要懂模型还要懂数据、懂场景、懂工程。单纯“会训练模型”的时代已经过去了。如果让我给准备类似笔试的同学一句建议我会说刷题重要但建立知识图谱和思维框架更重要。拿到一个实际问题时能够快速把它拆解成“数据怎么处理、模型怎么选、工程怎么落地、评估怎么做”四个层面这套思维方式的价值远超过记住某一个模型的细节。还有一点想提醒的是笔试中遇到不会的题再正常不过了千万不要卡在那里死磕。先把会做的、有思路的题目拿分再回头补不会的题这既是时间管理也是考试心态的体现。面试和笔试本质上都是在有限的时间和资源内解决问题你展现出的优先级判断能力本身就是考点的一部分。希望大家都能在秋招季拿到满意的结果。