Python爬虫实战：B站视频批量下载工具开发全流程解析

简介这是一份面向Python初学者与网络爬虫实践者的入门级练习资源聚焦B站小视频的批量采集场景涵盖动态请求构造、User-Agent随机化、视频文件大小预估及下载进度实时反馈等核心技能点适用于课程实验、自学项目或技术备赛中的HTTP协议实战训练。压缩包共5个Python源文件总大小仅12KB结构清晰主程序bilibili.py统筹调度其余task_*.py分别封装获取动态接口数据、生成随机浏览器头部、计算目标视频体积、实时打印下载进度等模块化功能便于分步调试与原理理解。已有272人学习下载资源代码简洁规范注释充分无第三方依赖硬编码可直接运行并快速迁移至其他类似视频平台爬取逻辑中是掌握requeststimeos基础组合应用的优质实操范例。1. 项目概述与核心价值最近在整理硬盘翻出来一个几年前写的Python脚本名字就叫“网络爬虫-批量爬取B站视频-python练习源码.zip”。当时写这个纯粹是为了练手想看看自己能不能搞定一个相对复杂的爬虫任务。没想到这个项目后来成了我理解网络请求、数据解析、并发处理和反爬策略的绝佳案例。今天我就把这个“练习源码”背后的完整思路、踩过的坑以及一些实用的技巧掰开揉碎了跟大家聊聊。无论你是刚学完Python基础想找个项目练手还是对爬虫技术感兴趣想了解如何从零构建一个能稳定运行的批量下载工具这篇文章应该都能给你一些直接的参考。简单来说这个项目就是用Python写一个脚本能够自动、批量地获取B站上指定视频的下载链接并保存到本地。它解决的痛点很直接当你看到一个UP主的系列教程、一个精彩的合集或者只是想备份自己收藏夹里的视频时手动一个个点开下载效率太低。这个脚本就是为了把我们从重复劳动中解放出来。当然我必须强调任何爬虫行为都必须在法律和网站服务条款允许的范围内进行尊重版权和网站服务器的负载本分享仅用于技术学习和交流目的。2. 项目整体设计与思路拆解2.1 核心需求与技术选型这个项目的核心目标很明确输入一个或多个B站视频的链接比如一个合集页面、一个UP主的主页、或一个视频列表程序能自动解析出所有视频的真实播放地址并下载到本地指定文件夹。要实现这个目标我们需要拆解出几个关键技术环节网页内容获取如何模拟浏览器向B站服务器发起请求并拿到返回的HTML或JSON数据。数据解析与提取如何从复杂的网页源码或接口返回的数据中精准地找到我们需要的视频标题、BV号/AV号以及最重要的——视频流信息。视频流地址解析B站的视频是分P、分清晰度、并且地址是动态生成的如何获取到可下载的m4s或flv/mp4直链。文件下载与存储如何高效、稳定地下载可能很大的视频文件并合理命名、组织文件夹。反爬虫策略应对如何应对常见的反爬手段如请求头校验、频率限制等确保脚本能稳定运行一段时间。基于这些环节我的技术选型如下请求库requests。这是Python中最简单易用的HTTP库足以应对B站大部分接口和页面请求。对于更复杂的动态页面早期可能需要会考虑selenium但为了效率和轻量本项目优先尝试分析其API接口。解析库jsonre(正则表达式) BeautifulSoup。B站很多数据是通过API返回的JSON格式直接用json解析最方便。对于部分嵌入在HTML中的数据用BeautifulSoup进行HTML解析。一些特定的参数或链接用re进行正则匹配往往更快。下载工具requests流式下载。对于大文件使用requests.get(streamTrue)进行分块下载避免内存溢出同时可以显示下载进度。并发处理可选concurrent.futures或asyncioaiohttp。当需要批量下载几十上百个视频时串行下载太慢。使用线程池或异步IO可以极大提升效率。本练习源码中我使用了concurrent.futures.ThreadPoolExecutor因为它对I/O密集型任务如下载效果显著且代码简单。注意技术选型的核心原则是“够用就好易于维护”。requestsBeautifulSoup的组合在应对B站这类混合了API和静态页面的网站时非常灵活。盲目上scrapy等重型框架对于这个特定任务来说可能增加了不必要的复杂度。2.2 环境准备与依赖安装工欲善其事必先利其器。在开始编码前我们需要搭建好Python环境并安装必要的库。这里假设你已经安装了Python3.6及以上版本。创建虚拟环境推荐这是一个好习惯可以隔离项目依赖。# 在项目目录下 python -m venv venv # 激活虚拟环境 # Windows: venv\Scripts\activate # Linux/Mac: source venv/bin/activate安装核心依赖库使用pip进行安装。pip install requests beautifulsoup4requests: 用于发送HTTP请求。beautifulsoup4: 用于解析HTML和XML文档。如果你的Python版本较新json和re是标准库无需安装。对于并发下载concurrent.futures也是Python 3.2的标准库。可选工具IDE/编辑器VSCode、PyCharm等它们对代码提示、调试支持很好。在VSCode中配置Python环境也很简单安装Python扩展即可。浏览器开发者工具这是爬虫工程师的“眼睛”。F12打开在Network网络选项卡中查看页面加载过程中的所有请求XHR/Fetch类型尤其重要是找到真实数据接口的关键。3. 核心细节解析与实操要点3.1 逆向分析找到数据源头这是爬虫项目中最关键、也最体现技术含量的部分。我们不能直接去下载网页上播放器里的mp4文件因为那个地址通常是临时的、有鉴权的。我们需要找到B站提供视频信息的原始API。操作过程实录打开一个B站视频页面例如https://www.bilibili.com/video/BV1xx411c7mD。按F12打开开发者工具切换到Network网络选项卡。刷新页面在纷繁复杂的请求列表中过滤XHR或Fetch类型的请求。仔细观察你会发现一个包含web?aid或x/web-interface/view等字样的请求。点击它在Preview预览或Response响应标签页里就能看到结构清晰的JSON数据里面包含了视频的标题、分P信息、cid每一P的唯一标识等。继续寻找有一个包含playurl或x/player/wbi/playurl的请求这个请求的响应里就藏着不同清晰度如1080p、720p对应的视频和音频的m4s文件地址或直接的flv/mp4链接。这就是我们需要的真实下载地址。核心要点bvid和cidB站视频有两个重要ID。bvid如BV1xx411c7mD是视频的唯一标识用于前端展示。cid是每一P视频的内部标识用于后端接口获取流信息。通常需要先用bvid通过第一个API拿到该视频所有分P的cid列表。接口参数这些API请求通常带有大量参数如bvid、cid、qn清晰度标识、fnval流格式标识、fourk是否4K等。我们需要在代码中模拟这些参数。请求头Headers必须模拟浏览器的请求头至少包含User-Agent、Referer通常设置为视频页面URL。有时还需要Cookie特别是登录后才能看的视频但出于合规考虑练习项目应避免处理需要个人登录Cookie的内容。3.2 构建请求与处理反爬拿到API地址和参数后我们需要用Python的requests库来模拟这个请求。import requests import json headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36, Referer: https://www.bilibili.com, # 通常Referer是必须的 } def get_video_info(bvid): 根据bvid获取视频基本信息标题分P列表 info_url fhttps://api.bilibili.com/x/web-interface/view?bvid{bvid} try: resp requests.get(info_url, headersheaders, timeout10) resp.raise_for_status() # 检查请求是否成功 data resp.json() if data[code] 0: return data[data] else: print(f获取视频信息失败: {data[message]}) return None except requests.exceptions.RequestException as e: print(f请求视频信息时发生错误: {e}) return None # 示例获取BV1xx411c7mD的信息 video_data get_video_info(BV1xx411c7mD) if video_data: title video_data[title] pages video_data[pages] # 分P信息列表 for page in pages: print(f分P{page[page]}: {page[part]}, cid: {page[cid]})避坑技巧超时设置务必为requests.get设置timeout参数如10秒防止因网络问题导致程序长时间卡死。异常处理使用try...except包裹网络请求并检查返回的JSON中code字段B站API通常0表示成功。频率控制在循环请求多个视频时务必在请求间添加随机延时如time.sleep(random.uniform(1, 3))这是对目标网站最基本的尊重也能有效避免因请求过快被暂时封禁IP。User-Agent轮换可以准备一个User-Agent列表每次请求随机选择一个增加一些随机性。3.3 解析并获取下载链接拿到cid后下一步就是获取指定清晰度的播放地址。def get_play_url(bvid, cid, quality80): 根据bvid和cid获取视频播放地址 quality: 清晰度标识80表示1080P64表示720P32表示480P play_url_api https://api.bilibili.com/x/player/playurl params { bvid: bvid, cid: cid, qn: quality, # 清晰度 fnval: 80, # 指定获取dash格式流包含分开的视频和音频 fourk: 1, # 允许请求4K视频 } try: resp requests.get(play_url_api, paramsparams, headersheaders, timeout10) data resp.json() if data[code] 0: dash data[data][dash] # dash格式下video和audio是分开的 video_url dash[video][0][baseUrl] # 通常取第一个即最高画质 audio_url dash[audio][0][baseUrl] return video_url, audio_url else: print(f获取播放地址失败: {data[message]}) return None, None except Exception as e: print(f解析播放地址出错: {e}) return None, None关键解析fnval参数这是一个位掩码参数。fnval80十进制或0x80十六进制表示请求DASH格式流。DASH格式将视频和音频分离通常能获得更好的画质和更小的文件体积因为可以只下载你需要的清晰度。fnval1则请求FLV格式已逐渐淘汰。fnval16请求MP4格式。本项目选择80获取DASH流。返回的video_url和audio_url就是.m4s文件的直链。我们需要分别下载它们然后用工具如ffmpeg合并或者寻找直接返回mp4格式的接口可能清晰度受限。实操心得直接请求fnval16有时可以拿到直接的mp4链接更方便但清晰度选项可能不全。DASH流是未来的趋势虽然多了一步合并操作但更灵活、画质更好。在代码中我们可以提供一个选项让用户选择。4. 实操过程与核心环节实现4.1 实现单视频下载函数有了视频和音频的直链我们就可以实现下载功能了。这里实现一个支持进度显示的流式下载函数。def download_file(url, filepath, sessionNone): 下载文件并显示进度 session: 可传入一个requests.Session()对象以保持连接 if session is None: session requests.Session() headers.update({Referer: https://www.bilibili.com}) # 下载时Referer也很重要 try: resp session.get(url, headersheaders, streamTrue, timeout30) resp.raise_for_status() total_size int(resp.headers.get(content-length, 0)) downloaded 0 with open(filepath, wb) as f: for chunk in resp.iter_content(chunk_size8192): if chunk: f.write(chunk) downloaded len(chunk) if total_size 0: percent downloaded / total_size * 100 print(f\r下载中: {filepath} - {percent:.2f}% ({downloaded}/{total_size} bytes), end) print(f\n下载完成: {filepath}) return True except Exception as e: print(f\n下载失败 {url}: {e}) return False4.2 视频与音频的合并下载完DASH流的.m4s文件后我们需要将它们合并成一个完整的.mp4文件。最常用的工具是ffmpeg。方法一使用subprocess调用系统ffmpeg命令推荐确保你的系统已安装ffmpeg并添加到环境变量PATH中。import subprocess import os def merge_audio_video(video_path, audio_path, output_path): 使用ffmpeg合并音视频 # 清理可能存在的旧文件 if os.path.exists(output_path): os.remove(output_path) cmd [ ffmpeg, -i, video_path, -i, audio_path, -c:v, copy, # 视频流直接复制不重新编码速度极快 -c:a, aac, # 音频流编码为aac或copy但有时需要统一格式 -strict, experimental, output_path ] try: subprocess.run(cmd, checkTrue, capture_outputTrue, textTrue) print(f合并成功: {output_path}) # 可选删除临时的.m4s文件 os.remove(video_path) os.remove(audio_path) return True except subprocess.CalledProcessError as e: print(f合并失败: {e.stderr}) return False方法二使用moviepy库纯Python但较重如果不想依赖外部工具可以安装moviepy库pip install moviepy但它处理大文件较慢且功能可能不如ffmpeg全面。4.3 实现批量爬取逻辑现在我们将上述所有环节串联起来实现批量处理。核心逻辑是输入一个包含多个B站视频ID或一个合集URL的列表程序遍历列表对每个视频执行“获取信息 - 获取链接 - 下载 - 合并”的流程。import time import random from concurrent.futures import ThreadPoolExecutor, as_completed def process_single_video(bvid, quality80, save_dir./downloads): 处理单个视频的完整流程 # 1. 创建保存目录 os.makedirs(save_dir, exist_okTrue) # 2. 获取视频基本信息 print(f\n开始处理视频: {bvid}) video_info get_video_info(bvid) if not video_info: return False title video_info[title].replace(/, _).replace(\\, _)[:100] # 清理非法文件名 pages video_info[pages] session requests.Session() # 为这个视频创建一个会话 for page in pages: page_num page[page] part_title page[part] cid page[cid] # 生成文件名 if len(pages) 1: file_base_name f{title}_P{page_num}_{part_title} else: file_base_name title print(f 正在处理分P{page_num}: {part_title}) # 3. 获取播放地址 video_url, audio_url get_play_url(bvid, cid, quality) if not video_url or not audio_url: print(f 获取分P{page_num}播放地址失败跳过。) continue # 4. 下载视频和音频 video_temp_path os.path.join(save_dir, f{file_base_name}_video.m4s) audio_temp_path os.path.join(save_dir, f{file_base_name}_audio.m4s) output_path os.path.join(save_dir, f{file_base_name}.mp4) if os.path.exists(output_path): print(f 文件已存在跳过: {output_path}) continue print(f 开始下载视频流...) if not download_file(video_url, video_temp_path, session): continue time.sleep(random.uniform(0.5, 1.5)) # 请求间延时 print(f 开始下载音频流...) if not download_file(audio_url, audio_temp_path, session): continue # 5. 合并 print(f 合并音视频...) if merge_audio_video(video_temp_path, audio_temp_path, output_path): print(f ✓ 分P{page_num}处理完成: {output_path}) else: print(f ✗ 分P{page_num}合并失败。) return True def batch_download(bvid_list, quality80, save_dir./downloads, max_workers3): 批量下载视频支持并发 with ThreadPoolExecutor(max_workersmax_workers) as executor: future_to_bvid {executor.submit(process_single_video, bvid, quality, save_dir): bvid for bvid in bvid_list} for future in as_completed(future_to_bvid): bvid future_to_bvid[future] try: success future.result() if success: print(f\n视频 {bvid} 所有分P处理完毕。) except Exception as e: print(f\n处理视频 {bvid} 时发生未预期错误: {e}) # 每个视频任务完成后添加一个较长延时避免对服务器造成集中压力 time.sleep(random.uniform(3, 7)) if __name__ __main__: # 示例下载两个视频 my_bvid_list [BV1xx411c7mD, BV1Bf4y1U7QP] batch_download(my_bvid_list, quality80, save_dir./bilibili_videos, max_workers2)代码逻辑解读process_single_video函数封装了处理一个视频可能包含多P的完整流水线。batch_download函数利用ThreadPoolExecutor实现并发下载。max_workers控制并发数建议不要设置过高如3-5以免对目标服务器造成过大压力或触发反爬。在主程序中将要下载的视频bvid放入列表调用batch_download即可。5. 常见问题与排查技巧实录在实际运行过程中你肯定会遇到各种各样的问题。下面是我在开发和运行这个脚本时遇到的一些典型问题及解决方法。5.1 问题获取视频信息或播放地址时返回-403或-404错误码可能原因1请求头不完整或错误。排查用浏览器开发者工具对比你的Python脚本发送的请求头与浏览器发送的请求头。重点检查User-Agent、Referer有时还需要Origin。解决确保headers字典尽可能模拟浏览器。Referer通常必须设置为https://www.bilibili.com或具体的视频页面URL。可能原因2接口参数已更新或需要额外的鉴权参数。排查B站的API接口可能会更新。重新用开发者工具抓包查看最新的playurl接口请求参数。特别注意是否有w_rid和wts这类动态签名参数这是B站一种常见的反爬机制。解决如果发现需要w_rid和wts说明接口已升级为WBI签名鉴权。你需要找到生成这两个参数的JavaScript代码并用Python实现其算法或者寻找其他无需签名的替代接口有时旧版接口仍可用。这是一个进阶挑战需要一定的JS逆向能力。可能原因3视频需要大会员或地区限制。排查在浏览器中确认该视频是否需要登录或大会员才能观看你想要的清晰度。解决对于需要登录的视频必须在请求头中携带有效的Cookie。但请注意获取和使用他人Cookie涉及隐私和安全问题且违反B站用户协议。本练习项目强烈建议仅处理公开、无限制的视频。可以尝试获取低清晰度如360p的流这些通常无需鉴权。5.2 问题下载下来的.m4s文件用ffmpeg合并失败可能原因1视频或音频文件本身下载不完整或损坏。排查检查下载的.m4s文件大小是否异常小比如只有几KB。用文本编辑器打开看看如果里面是JSON格式的错误信息如{code:-404, message:Not Found}说明下载链接本身就有问题。解决回到上一步确保获取到的video_url和audio_url是有效的。可能是清晰度参数qn不支持尝试换一个清晰度如64代表720p。可能原因2ffmpeg命令参数问题或版本不兼容。排查手动在命令行执行合并命令看具体的错误信息。有时-c:a copy音频流复制会导致问题因为源音频格式可能比较特殊。解决将合并命令中的-c:a copy改为-c:a aac强制转码为AAC格式。确保你安装的ffmpeg版本不是太旧。5.3 问题并发下载时部分任务失败或程序卡死可能原因1并发数过高触发服务器的频率限制或连接被重置。解决降低max_workers的值比如从5降到2或3。在每个视频任务之间以及每个下载请求之间增加随机的、更长的延时time.sleep。可能原因2网络不稳定或单个任务超时。解决在download_file函数中增加重试机制。例如用循环包裹下载逻辑失败后重试2-3次。同时确保timeout参数设置合理如30-60秒。5.4 问题如何爬取一个UP主的所有视频或一个合集思路我们的核心函数process_single_video需要的是bvid。所以首先要解决的是如何从一个UP主空间或合集页面提取出所有视频的bvid列表。方法分析页面结构打开一个UP主主页如https://space.bilibili.com/123456/videoF12查看其加载视频列表的API。通常是一个返回JSON的接口里面包含了视频列表和对应的bvid。编写列表提取函数写一个新的函数get_video_list_by_mid(mid)其中mid是UP主的ID。这个函数模仿浏览器去请求那个API解析JSON返回一个bvid的列表。集成到主流程先调用get_video_list_by_mid获取列表再将这个列表传递给batch_download函数。注意合集和频道的页面逻辑类似都需要先找到其对应的数据接口。这又是一个逆向分析的过程但原理和获取单个视频信息是相通的。5.5 性能与优化建议会话保持在process_single_video函数中我为每个视频创建了一个requests.Session()。Session可以复用TCP连接在下载同一个视频的多P时能稍微提升效率。断点续传当前的下载函数不支持断点续传。对于超大文件可以考虑实现它。思路是检查本地已下载文件大小在请求头中加入Range: bytesstart-end来请求剩余部分。但这需要服务器支持。更优雅的进度条可以使用第三方库tqdm来替代自己打印的进度信息它会显示一个美观的进度条和预估剩余时间。配置化将清晰度、保存路径、并发数、请求头等参数提取到配置文件如config.ini或命令行参数中使脚本更灵活。最后我想说的是爬虫技术是一把双刃剑。这个“B站视频批量爬取”项目作为一个Python练习极大地锻炼了我的网络编程、数据分析和问题解决能力。但在实际使用中请务必牢记遵守robots.txt查看目标网站的robots.txt文件尊重网站管理员的意愿。控制请求频率这是最重要的道德和技术准则。过快的请求等同于攻击。尊重版权下载的内容仅限个人学习、研究使用切勿用于商业传播或任何侵犯创作者权益的行为。关注接口变更网站前端和后端随时在变今天能用的代码明天可能就失效了。保持学习理解原理HTTP请求、数据解析比记住某个具体的API地址更重要。这个项目的源码虽然叫“练习源码”但其中涉及的思路和技巧是通用的。希望这份超详细的拆解能帮你不仅完成这个练习更能理解爬虫项目从设计到实现的完整脉络。如果在复现过程中遇到新问题多利用开发者工具观察、多思考、多搜索解决问题的过程本身就是最好的学习。本文还有配套的精品资源点击获取