Automated Hazard Detection in Construction Sites Using Large Language and Vision-Language Models

文章主要内容与创新点总结一、主要内容该研究聚焦建筑施工安全风险检测，提出了一种基于大型语言模型（LLMs）和视觉-语言模型（VLMs）的多模态AI框架，通过融合文本与图像数据分析实现施工安全隐患的自动化识别与评估，具体内容如下：研究背景：建筑行业是高危行业，2023年约20.8%的工伤死亡发生在建筑领域，其中38.5%源于坠落、滑倒等事故。传统安全管理依赖人工检查，存在反应滞后、数据利用率低等问题，而现有AI技术面临数据需求高、模型可用性差等挑战。框架设计：包含两条核心流水线：文本处理流水线：利用LLM（如GPT-4o-mini）分析OSHA（美国职业安全与健康管理局）事故报告，提取事件日期、地点、伤害程度等结构化信息，并基于43类事故分类法进行场景分类，量化风险频率。视觉隐患检测流水线：采用VLM（如GPT-4o Vision、Molmo 7B等）分析施工场地图像，通过链式思维（CoT）提示与迭代自审机制，识别并定位缺失个人防护装备（PPE）、危险设备等隐患，关联文本分析结果实现情境化安全评估。案例研究：案例一：使用GPT-4o系列模型处理28,000份OSHA事故报告（抽样100份验证），文本分类准确率达89%；对10张施工图像的检测结果显示，模型能有效识别坠落、物体撞击、触电等核心隐患。案例二：基于ConstructionSite10k数据集，