机器学习之综合爬虫架构（Machine Learning about Crawler architecture）

七、爬虫自动化——综合爬虫项目架构1.1 爬虫架构设计的用途当爬虫项目规模较小时，单文件脚本或许能够满足需求，但是随着数量的不断增加、功能复杂提升，缺乏架构设计的爬虫设计会变得难以维护和拓展。一个良好的爬虫架构应该具备以下特点：模块化设计：各个功能模块独立可配置性：参数易于调整错误机制处理：异常处理机制的兜底可扩展性：方便添加额外功能💡核心原则：将"下载"、"解析"、"存储