1. 项目缘起从“数据焦虑”到“决策利器”作为一名经常需要规划行程的旅行爱好者我发现自己长期陷入一种“信息过载”的焦虑中。想找个周末去周边城市放松打开A网站推荐的酒店琳琅满目切换到B网站看到的景点攻略又截然不同再到C平台用户评价更是褒贬不一让人眼花缭乱。手动比对这些信息不仅耗时费力而且很难得到一个全面、客观的结论。我相信这也是很多朋友共同的痛点。于是一个想法诞生了为什么不把这三个主流旅游网站的数据“抓”下来放在一起分析呢通过技术手段自动化地采集酒店价格、景点评分、用户评论等关键信息再进行清洗、整合与可视化最终生成一份属于我自己的、多维度的旅行决策报告。这不仅能解决我的个人需求其背后的技术栈——爬虫、数据清洗、可视化——更是数据分析领域非常经典且实用的组合拳。无论你是想学习Python实战还是希望为自己的项目获取数据源这个流程都具有很高的参考价值。本次项目我将以三个虚构但具有代表性的旅游网站为例我们称其为“途悦网”、“驴行助手”和“点评旅行”完整演示从环境搭建、爬虫编写、反反爬策略、数据清洗到可视化看板构建的全过程。过程中会重点分享我踩过的坑和总结的技巧目标是让你看完后能独立完成一个类似的数据采集与分析项目。2. 技术选型与核心工具链剖析工欲善其事必先利其器。在开始写代码之前选择合适的工具至关重要。我的选型基于几个原则效率高、生态成熟、学习曲线相对平缓并且能应对中等复杂度的反爬机制。2.1 爬虫框架为什么是Scrapy面对多个网站的结构化数据抓取使用一个成熟的框架远比从零写requests脚本要高效和稳健。我选择了Scrapy原因如下异步处理能力Scrapy基于Twisted异步网络框架构建这意味着它可以同时发起多个网络请求极大地提高了数据抓取速度。对于需要爬取大量列表页和详情页的旅游网站这是决定性优势。内置的健壮性它自动处理了重试、日志、爬取深度控制、并发限制等繁琐但必要的工作。自己实现这些功能不仅容易出错而且代码会变得臃肿。清晰的架构Scrapy的Spider、Item、Pipeline、Middleware结构强制你将代码模块化。爬虫逻辑、数据定义、清洗存储、请求预处理各司其职项目易于维护和扩展。强大的中间件系统这是应对反爬的利器。通过下载器中间件我们可以轻松地集成代理IP池、随机User-Agent、处理Cookie等高级功能。当然Scrapy的学习成本比requestsBeautifulSoup组合略高但为中型项目投资这点学习时间是绝对值得的。对于极其简单的单页抓取requestsparselScrapy的选择器库也是轻量级的好选择。2.2 解析利器XPath与CSS选择器的抉择从网页HTML中提取数据就像从一堆杂物中找出特定的宝贝。我们需要一个精准的“定位器”。XPath和CSS选择器是两大主流。XPath功能极为强大可以基于元素在文档中的路径、属性、文本内容甚至相对位置进行查询。例如你可以定位“id为content的div下的第三个table中的所有奇数行tr”。它的语法像文件路径学习初期可能觉得稍复杂但一旦掌握几乎可以应对任何复杂的解析场景。XPath Helper这类浏览器插件可以让你在页面上实时测试XPath表达式是学习和调试的神器。CSS选择器语法更简洁对于熟悉前端CSS的朋友来说非常直观。例如div.hotel-list a就能选中所有class包含hotel-list的div下的直接子元素a。我的策略是以XPath为主CSS为辅。对于大多数常规元素用CSS选择器书写更快捷。但当遇到结构复杂、缺少明显特征如class、id的元素或者需要根据文本内容定位时XPath的强大查询能力就无可替代了。Scrapy的response对象同时支持.xpath()和.css()方法我们可以根据实际情况灵活选用。2.3 数据清洗与存储Pandas的核心角色爬取下来的原始数据往往是“脏”的价格里混着货币符号和文本如“¥1288起”、评分是字符串格式、地址信息前后有多余空格、甚至存在大量重复或空值。直接把这些数据扔进数据库或用于分析结果必然不准。这时Pandas就登场了。它不仅是数据分析的利器更是数据清洗的“瑞士军刀”。我们可以将Scrapy爬取到的数据通常保存为JSON或CSV格式用Pandas的DataFrame加载然后进行一系列操作类型转换将字符串类型的价格、评分转换为数值类型。字符串处理使用.str访问器结合正则表达式剥离无用的字符。处理缺失值判断是删除缺失行还是用均值、中位数或特定值填充。去重根据业务逻辑如酒店ID、名称地址删除重复记录。规范化将不同网站对同一属性的不同表述统一例如将“豪华型”、“五星级”统一映射为“5星”。清洗后的干净数据可以存回CSV也可以导入到SQLite、MySQL等数据库中为下一步分析做准备。2.4 可视化让数据自己说话清洗后的数据是冰冷的数字可视化则是赋予它灵魂的过程。我的目标是制作一个交互式的数据看板能够动态筛选、对比三个网站的信息。PlotlyDash组合是我的首选。Plotly一个强大的交互式绘图库。它生成的图表不仅美观而且支持缩放、拖拽、悬停查看数据点详情等交互操作。这对于探索数据模式非常有用。Dash一个基于Plotly的Python Web应用框架。它允许你用纯Python代码构建具有交互组件的Web数据看板无需学习JavaScript。你可以添加下拉框、滑块、按钮让用户选择不同的城市、日期范围或酒店星级图表会随之动态更新。相比于静态的Matplotlib图表或Excel看板Dash构建的看板更灵活、更专业也更容易分享和部署。当然如果需求简单用Matplotlib或Seaborn快速生成几张统计图也完全可行。提示整个技术栈为 Python Scrapy Pandas Plotly/Dash。请确保你的开发环境已安装好这些库。建议使用虚拟环境如venv或conda进行管理避免包版本冲突。3. 实战构建三个网站的爬虫Scrapy核心篇这一部分是项目的核心。我将以“途悦网”为例详细拆解爬虫的构建过程并指出在“驴行助手”和“点评旅行”上可能遇到的不同情况及应对策略。3.1 创建Scrapy项目与爬虫首先通过命令行创建项目和爬虫scrapy startproject travel_crawler cd travel_crawler scrapy genspider tuyue www.tuyue.com scrapy genspider lvxing www.lvxingzs.com scrapy genspider dianping www.dianpingtrip.com这会在项目目录下生成标准结构。我们主要关注spiders/目录下的爬虫文件items.py定义数据结构pipelines.py数据清洗与存储以及middlewares.py反爬处理。3.2 定义统一的数据结构items.py为了便于后续对比分析我们需要从三个网站提取标准化的字段。在items.py中定义import scrapy class HotelItem(scrapy.Item): # 通用字段 source scrapy.Field() # 来源网站如 ‘tuyue‘ hotel_id scrapy.Field() # 酒店在该网站的唯一ID name scrapy.Field() # 酒店名称 city scrapy.Field() # 所在城市 district scrapy.Field() # 行政区/商圈 address scrapy.Field() # 详细地址 star scrapy.Field() # 星级如 5 或 ‘豪华型‘ score scrapy.Field() # 综合评分如 4.8 review_count scrapy.Field() # 点评数量 price scrapy.Field() # 最低价格数值 price_unit scrapy.Field() # 价格单位如 ‘元/晚‘ facilities scrapy.Field() # 设施列表如 [‘免费WiFi‘ ‘停车场‘ ‘游泳池‘] # 原始字段用于清洗时参考 raw_price_text scrapy.Field() # 原始价格文本 raw_star_text scrapy.Field() # 原始星级文本定义清晰的Item就像为数据画好了蓝图让后续的解析和清洗工作目标明确。3.3 编写“途悦网”爬虫解析逻辑打开spiders/tuyue.py核心工作是编写parse方法及其回调函数。假设途悦网的酒店列表页是分页的我们需要先遍历列表页再进入详情页抓取完整信息。import scrapy from ..items import HotelItem from urllib.parse import urljoin class TuyueSpider(scrapy.Spider): name tuyue allowed_domains [www.tuyue.com] start_urls [https://www.tuyue.com/hotel/beijing/] # 以北京为例 def parse(self, response): # 1. 解析列表页上的酒店条目 hotel_nodes response.xpath(//div[classhotel-item]) for node in hotel_nodes: detail_url node.xpath(.//a[classhotel-name]/href).get() if detail_url: # 构建绝对URL并调度详情页请求 full_url urljoin(response.url, detail_url) yield scrapy.Request(full_url, callbackself.parse_hotel_detail) # 2. 翻页逻辑 next_page response.xpath(//a[contains(text(),下一页)]/href).get() if next_page: yield scrapy.Request(urljoin(response.url, next_page), callbackself.parse) def parse_hotel_detail(self, response): 解析酒店详情页 item HotelItem() item[source] tuyue # 使用XPath提取数据这里演示混合使用XPath和CSS item[hotel_id] response.url.split(/)[-1].split(.)[0] # 从URL提取ID item[name] response.css(h1.hotel-title::text).get(default).strip() item[city] 北京 # 可以从URL或页面中解析 # 提取价格 - 注意处理“¥1288起”这种格式 raw_price_text response.xpath(//span[classprice-num]/text()).get(default) item[raw_price_text] raw_price_text # 价格清洗留到Pipeline中做 # 提取星级可能显示为“五星级”或图片 star_text response.xpath(//div[contains(class, star-level)]/title).get() item[raw_star_text] star_text # 提取评分和评论数 score_text response.xpath(//span[classscore]/text()).get() item[score] float(score_text) if score_text else None review_text response.xpath(//span[classreview-count]/text()).get() # 处理“1.2万条点评”这样的文本 item[review_count] self._parse_review_count(review_text) # 提取设施可能是一个标签列表 facilities response.xpath(//ul[classfacility-list]/li/text()).getall() item[facilities] [f.strip() for f in facilities if f.strip()] yield item def _parse_review_count(self, text): 将‘1.2万‘转换为12000 if not text: return 0 import re match re.search(r([\d\.])(万?), text) if match: num, unit match.groups() num float(num) if unit 万: num * 10000 return int(num) return 0关键点解析翻页处理在parse方法中同时处理列表项提取和下一页链接发现这是Scrapy的常见模式。相对URL转绝对URL使用urljoin非常重要确保请求的URL是正确的。数据提取的健壮性大量使用.get(default)和条件判断避免因为某个元素缺失导致整个解析失败。初步的文本处理在解析函数中就可以做一些简单的清洗如strip()但复杂的清洗如价格转换建议放到Pipeline中保持爬虫逻辑清晰。3.4 应对反爬策略middlewares.py旅游网站的反爬措施通常包括请求头校验、IP频率限制、Cookie验证等。我们需要在middlewares.py中配置下载器中间件。import random from scrapy import signals class RandomUserAgentMiddleware: 随机User-Agent中间件 def __init__(self, user_agent_list): self.user_agents user_agent_list classmethod def from_crawler(cls, crawler): # 从settings.py读取USER_AGENT_LIST s crawler.settings ua_list s.get(USER_AGENT_LIST, []) if not ua_list: ua_list [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ..., # ... 更多UA ] return cls(ua_list) def process_request(self, request, spider): request.headers[User-Agent] random.choice(self.user_agents) class ProxyMiddleware: 代理IP中间件如果需要 def process_request(self, request, spider): # 这里从你的代理IP池获取一个代理 # proxy get_proxy_from_pool() # request.meta[proxy] proxy pass在settings.py中启用中间件并配置DOWNLOADER_MIDDLEWARES { travel_crawler.middlewares.RandomUserAgentMiddleware: 543, # travel_crawler.middlewares.ProxyMiddleware: 544, scrapy.downloadermiddlewares.useragent.UserAgentMiddleware: None, # 禁用默认的 } # 配置并发、延迟模拟人类行为 CONCURRENT_REQUESTS 16 DOWNLOAD_DELAY 1.5 # 秒 AUTOTHROTTLE_ENABLED True # 启用自动限速更友好关于反爬的深度思考动态内容如果数据是通过JavaScript异步加载的很多现代网站都这样简单的HTML解析就无效了。这时可以考虑使用Selenium或Splash来渲染页面但会大幅降低速度。更优的方法是尝试分析网站的API接口通过浏览器开发者工具的“网络”选项卡直接模拟API请求效率高得多。登录与Cookie对于需要登录才能查看的信息如会员价可以使用Scrapy的FormRequest模拟登录并在后续请求中携带登录后的Cookie。“debugger”反调试有些网站会检测浏览器开发者工具这不是针对爬虫的但如果你用Selenium可能会触发。通常可以通过添加--disable-blink-featuresAutomationControlled等Chrome选项来规避。3.5 数据清洗管道pipelines.py爬虫yield出来的Item会经过Pipeline进行处理。这里是进行深度数据清洗和存储的地方。import pandas as pd import re from itemadapter import ItemAdapter class DataCleaningPipeline: def process_item(self, item, spider): adapter ItemAdapter(item) # 1. 清洗价格将“¥1,288起”或“1288元”转换为浮点数1288.0 raw_price adapter.get(raw_price_text, ) if raw_price: # 使用正则表达式提取数字部分处理千分位逗号 price_match re.search(r[\d,]\.?\d*, raw_price.replace(,, )) if price_match: adapter[price] float(price_match.group()) adapter[price_unit] 元/晚 # 根据实际情况判断 # 2. 清洗星级将“五星级”、“豪华型”等映射为标准数值 raw_star adapter.get(raw_star_text, ) star_mapping {五星级/豪华型: 5, 四星级/高档型: 4, 三星级/舒适型: 3, 二星级及以下/经济型: 2} adapter[star] star_mapping.get(raw_star.strip(), None) # 3. 清洗设施去重、标准化表述这里简化处理 facilities adapter.get(facilities, []) if facilities: # 例如将“免费wifi”和“免费Wi-Fi”统一为“免费WiFi” standardized_facilities [] for fac in facilities: fac_lower fac.lower() if wifi in fac_lower or wi-fi in fac_lower: standardized_facilities.append(免费WiFi) elif 停车 in fac_lower: standardized_facilities.append(停车场) # ... 其他映射 adapter[facilities] list(set(standardized_facilities)) # 去重 # 4. 处理空值对于关键字段如果为空可以记录日志或赋予默认值 if not adapter.get(score): adapter[score] None # 保留None后续分析时处理 return item class CsvExportPipeline: 将清洗后的数据追加到CSV文件 def open_spider(self, spider): # 可以为每个爬虫创建单独的文件也可以合并 self.file open(fhotels_{spider.name}.csv, w, encodingutf-8, newline) # 注意这里简单处理实际生产环境应考虑更健壮的写入方式如用pandas分批写入 # 或者写入数据库 def close_spider(self, spider): self.file.close() def process_item(self, item, spider): # 这里简单演示实际应将item转换为字典后写入CSV # 更推荐使用pandas或scrapy内置的Feed Exports adapter ItemAdapter(item) # ... 写入逻辑 return item在settings.py中启用并设置Pipeline执行顺序ITEM_PIPELINES { travel_crawler.pipelines.DataCleaningPipeline: 300, travel_crawler.pipelines.CsvExportPipeline: 800, }3.6 “驴行助手”与“点评旅行”的差异化处理每个网站的结构和反爬策略都不同。“驴行助手”可能列表页信息就很全无需进入详情页。这时爬虫结构更简单一个parse方法搞定所有。但它的价格可能是动态加载的需要查找隐藏的JSON数据或模拟API调用。“点评旅行”用户评论是重点但评论通常分页且可能有异步加载。需要设计递归或循环请求来抓取多页评论。同时点评网站对爬虫更敏感必须严格遵守robots.txt并大幅降低请求频率DOWNLOAD_DELAY设为3-5秒或更高避免给对方服务器造成压力。注意在编写针对不同网站的爬虫时务必先人工浏览页面用浏览器开发者工具分析其网络请求和HTML结构制定针对性的解析方案。没有一成不变的XPath灵活运用开发者工具的元素检查和网络监控是关键。4. 数据清洗的深水区从杂乱到规整爬虫运行结束后我们得到了三个CSV文件。但此时的数据还不能直接用于分析需要一次集中的、更彻底的清洗。这一步我通常在Jupyter Notebook中使用Pandas完成便于交互式探索和调试。4.1 加载与初步观察import pandas as pd import numpy as np # 加载三个网站的数据 df_tuyue pd.read_csv(hotels_tuyue.csv) df_lvxing pd.read_csv(hotels_lvxing.csv) df_dianping pd.read_csv(hotels_dianping.csv) # 添加来源标识如果Pipeline里没做 df_tuyue[source] 途悦网 df_lvxing[source] 驴行助手 df_dianping[source] 点评旅行 # 纵向合并 df_all pd.concat([df_tuyue, df_lvxing, df_dianping], ignore_indexTrue) # 查看基本信息 print(df_all.info()) print(df_all.head())df.info()会告诉我们各字段的非空值数量、数据类型这是发现数据质量问题的第一步。4.2 处理缺失值与异常值策略性填充对于score评分缺失如果只是少量可以用该城市同星级酒店的平均分填充。对于price缺失要谨慎可能意味着该房型已售罄或无法预订直接删除该记录可能是更安全的选择。识别并处理异常价格一个经济型酒店标价99999元这显然是异常数据。# 假设我们只分析价格在100到5000元之间的酒店 df_all df_all[(df_all[price] 100) (df_all[price] 5000)] # 或者使用分位数去除极端值 Q1 df_all[price].quantile(0.01) Q3 df_all[price].quantile(0.99) df_all df_all[(df_all[price] Q1) (df_all[price] Q3)]4.3 文本字段的深度清洗地址和酒店名称常常包含多余空格、换行符或不可见字符。# 清洗字符串字段 text_columns [name, city, district, address] for col in text_columns: if col in df_all.columns: df_all[col] df_all[col].astype(str).str.strip().str.replace(r\s, , regexTrue) # 设施字段可能存储为字符串形式的列表如 [免费WiFi 停车场]需要安全转换 import ast def safe_literal_eval(val): try: return ast.literal_eval(val) if pd.notna(val) else [] except (ValueError, SyntaxError): # 如果不是列表字符串按逗号分割 return [x.strip() for x in str(val).split(,)] if pd.notna(val) else [] df_all[facilities_clean] df_all[facilities].apply(safe_literal_eval)4.4 数据标准化与整合这是对比分析的基础。例如三个网站对“豪华型”酒店的表述可能不同我们需要统一。# 星级标准化映射扩展版 star_standard_map { 五星级: 5, 豪华型: 5, 5星: 5, five star: 5, 四星级: 4, 高档型: 4, 4星: 4, four star: 4, # ... 其他映射 } # 如果star字段是字符串则映射 if df_all[star].dtype object: df_all[star_standard] df_all[star].map(star_standard_map).fillna(df_all[star]) else: df_all[star_standard] df_all[star] # 城市名称统一例如“北京市”和“北京” df_all[city_standard] df_all[city].str.replace(市, )4.5 去重识别同一家酒店这是最具挑战性的一步。不同网站对同一家酒店的命名可能略有差异如“XX酒店” vs “XX大酒店”地址格式也不同。一个简单但有效的策略是使用“城市核心名称近似地址”进行模糊匹配。from fuzzywuzzy import fuzz, process # 示例对同一城市内的酒店名称进行模糊去重简化版 def find_duplicate_hotels(group): 在一个城市分组内寻找可能重复的酒店 names group[name].tolist() duplicates [] for i, name1 in enumerate(names): for j, name2 in enumerate(names[i1:], i1): # 计算名称相似度 if fuzz.token_sort_ratio(name1, name2) 85: # 阈值可调 duplicates.append((group.iloc[i], group.iloc[j])) return duplicates # 更实际的做法可能是清洗后以城市 标准化后的名称 行政区作为唯一键去重 df_all[name_simple] df_all[name].str.replace(r(酒店|大酒店|饭店|旅馆), , regexTrue) df_all df_all.drop_duplicates(subset[city_standard, district, name_simple], keepfirst)清洗完成后将干净的数据保存为新的CSV文件或写入数据库df_all_clean.to_csv(hotels_clean_merged.csv, indexFalse, encodingutf-8-sig)5. 构建交互式数据可视化看板有了干净、规整的数据我们就可以让它“说话”了。使用Dash构建一个本地运行的Web看板。5.1 设计看板布局与功能我们的看板计划包含以下组件控制面板城市选择下拉框、价格范围滑块、星级选择单选按钮。可视化图表图表1各城市酒店平均价格对比柱状图。图表2价格与评分分布散点图可按来源着色。图表3热门设施词云图。图表4不同来源的酒店数量与平均评分对比。5.2 代码实现import dash from dash import dcc, html, Input, Output import plotly.express as px import plotly.graph_objects as go import pandas as pd from wordcloud import WordCloud import base64 from io import BytesIO # 加载清洗后的数据 df pd.read_csv(hotels_clean_merged.csv) # 初始化Dash应用 app dash.Dash(__name__) app.layout html.Div([ html.H1(三大旅游网站酒店数据对比看板), html.Div([ html.Label(选择城市:), dcc.Dropdown( idcity-dropdown, options[{label: c, value: c} for c in sorted(df[city_standard].unique())], value[北京, 上海], # 默认值 multiTrue ), html.Label(价格范围 (元):), dcc.RangeSlider( idprice-slider, minint(df[price].min()), maxint(df[price].max()), step100, value[200, 1500], marks{i: str(i) for i in range(int(df[price].min()), int(df[price].max())1, 500)} ), html.Label(酒店星级:), dcc.RadioItems( idstar-radio, options[{label: f{i}星及以上, value: i} for i in range(1, 6)], value3, inlineTrue ) ], style{padding: 20, backgroundColor: #f9f9f9, borderRadius: 5px}), html.Div([ dcc.Graph(idavg-price-bar), dcc.Graph(idprice-score-scatter), ], style{columnCount: 2}), html.Div([ html.Img(idwordcloud-img), dcc.Graph(idsource-comparison), ], style{columnCount: 2}), ]) # 回调函数更新图表 app.callback( [Output(avg-price-bar, figure), Output(price-score-scatter, figure), Output(wordcloud-img, src), Output(source-comparison, figure)], [Input(city-dropdown, value), Input(price-slider, value), Input(star-radio, value)] ) def update_dashboard(selected_cities, price_range, min_star): # 1. 数据过滤 filtered_df df[ (df[city_standard].isin(selected_cities)) (df[price].between(price_range[0], price_range[1])) (df[star_standard] min_star) ] # 2. 图表1各城市平均价格柱状图 city_avg_price filtered_df.groupby(city_standard)[price].mean().round(2).reset_index() fig1 px.bar(city_avg_price, xcity_standard, yprice, title各城市酒店平均价格对比, labels{city_standard: 城市, price: 平均价格元}, colorprice, color_continuous_scaleBlues) # 3. 图表2价格-评分散点图 fig2 px.scatter(filtered_df, xprice, yscore, colorsource, hover_data[name, star_standard], title酒店价格与评分分布, labels{price: 价格元, score: 评分}, opacity0.6) # 4. 图表3设施词云 # 将所有设施列表展开成一个长列表 all_facilities [] for fac_list in filtered_df[facilities_clean].dropna(): # 注意这里facilities_clean需要是Python列表对象如果存储为字符串需要先eval all_facilities.extend(fac_list) from collections import Counter fac_counter Counter(all_facilities) wordcloud WordCloud(width400, height300, background_colorwhite, colormaptab20c).generate_from_frequencies(fac_counter) # 将词云图转换为Base64编码的图片用于在网页显示 img_buffer BytesIO() wordcloud.to_image().save(img_buffer, formatPNG) img_str base64.b64encode(img_buffer.getvalue()).decode() wordcloud_src fdata:image/png;base64,{img_str} # 5. 图表4来源对比数量和平均分 source_stats filtered_df.groupby(source).agg( hotel_count(name, count), avg_score(score, mean) ).reset_index() fig4 go.Figure(data[ go.Bar(name酒店数量, xsource_stats[source], ysource_stats[hotel_count], yaxisy, offsetgroup1), go.Scatter(name平均评分, xsource_stats[source], ysource_stats[avg_score], yaxisy2, modelinesmarkers) ]) fig4.update_layout( title不同来源数据对比, xaxis_title数据来源, yaxis_title酒店数量, yaxis2dict(title平均评分, overlayingy, sideright), legenddict(x0.8, y1.1) ) return fig1, fig2, wordcloud_src, fig4 if __name__ __main__: app.run_server(debugTrue, port8050)运行这段代码后在浏览器中访问http://127.0.0.1:8050你就能看到一个功能完整的交互式数据看板。通过调整左侧的控制面板所有图表都会实时联动更新。5.3 从可视化中获取洞察通过操作这个看板我们可以轻松发现一些有趣的结论例如价格透明度在同一城市同一档次酒店中哪个平台的价格普遍偏高或偏低评分倾向哪个平台的用户评分整体更宽松或更严格可以结合评论数量看覆盖差异哪个平台在特定城市或区域的酒店覆盖更全设施偏好高端酒店最常宣传的设施是什么经济型酒店呢这些洞察远比单独看任何一个网站要全面和客观。6. 避坑指南与进阶思考回顾整个项目从爬虫到看板我踩过不少坑也总结了一些经验。6.1 爬虫阶段常见问题XPath/CSS选择器失效网站改版是最常见原因。不要写死选择器尽量寻找具有稳定id或>
)
