Segment Anything 快速上手：3 条命令拿到任意对象的分割掩码

Segment Anything 快速上手3 条命令拿到任意对象的分割掩码【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anything写图像分割代码最耗时的往往是怎么快速拿到某个对象的掩码。Segment AnythingSAM用点、框这类简单提示就能直接产出高质量掩码零样本泛化到新类别适合想给项目加一个分割功能的开发者。为什么需要它传统工具要为每个新类别单独收集数据、训练模型换一批对象就得重来。SAM 在 1100 万张图像、11 亿个掩码上训练把分割任何对象当成一个通用任务你给一个点或一个框它直接返回掩码不需要为特定类别做任何额外训练。三分钟上手 ️先安装Python ≥ 3.8PyTorch ≥ 1.7pip install githttps://gitcode.com/GitHub_Trending/se/segment-anything.gitvit_b 的 checkpoint 下载地址在 README.md 的 Model Checkpoints 一节下载到本地后跑最小示例from segment_anything import SamPredictor, sam_model_registry sam sam_model_registryvit_b predictor SamPredictor(sam) predictor.set_image(image) # RGB 格式的 numpy 数组 masks, scores, _ predictor.predict(point_coords[(x, y)], point_labels[1])masks 是二值掩码scores 是模型对每个掩码质量的自评分。完整流程参考 predictor_example.ipynb。它是怎么工作的整体是三段式结构源码在 segment_anything/modeling/图像编码器ViT 骨干把图像编码成一张特征图只算一次之后换提示重复预测都复用这份特征所以单次提示很快。提示编码器把点、框这类稀疏提示转成嵌入向量也接受低分辨率掩码作为稠密提示。掩码解码器一个轻量的双向 Transformer融合图像特征与提示输出多个候选掩码并给出各自的 IoU 质量预估方便你挑最优结果。核心能力拆解按交互方式分三组点提示坐标配上前景/背景标签支持多个正负点联合消歧比如先点目标、再点几处背景排除相邻物体。框提示传入 xyxy 格式边界框比单点更稳适合框里即目标的场景。全自动用SamAutomaticMaskGenerator一次输出全图所有候选掩码内部走预测—集成—过滤三步命令行同样能跑python scripts/amg.py --checkpoint sam_vit_b_01ec64.pth --model-type vit_b --input images/ --output masks/全自动模式产出的每个掩码都带 bbox、面积、IoU 预估等字段可直接进后续流水线。版本与选型三个骨干规格对应不同的显存和速度取舍规格参数量约适用场景vit_h默认636 M离线、最高质量标注vit_l375 M质量与速度平衡vit_b91 M原型验证、资源受限的交互场景掩码解码器还能单独导出 ONNX配合 demo/ 里的 React 示例在浏览器里直接跑点选分割不需要后端 GPU。落地场景交互式标注工具set_image算一次特征用户每点一下、每框一下就调一次predict前端立刻拿到掩码做高亮渲染。批量建数据集全自动模式逐图输出全部候选掩码字段齐全可直接按 COCO 格式入库。浏览器端演示解码器导出 ONNX 后纯前端就能做点选分割 Demo。局限与注意事项SAM 做的是按提示分割不是按类别识别——它不会告诉你点中的东西属于哪个类别密集纹理相似区域的边界可能不稳需要用 scores 做二次过滤。ViT-H 显存占用高、在 CPU 上很慢没有 GPU 时直接用 vit_b。先用 vit_b 把点、框两种提示跑通确认精度够用再考虑升级 vit_h。【免费下载链接】segment-anythingThe repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.项目地址: https://gitcode.com/GitHub_Trending/se/segment-anything创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考