简介一份基于Hadoop与Python的小说推荐系统毕业论文围绕协同过滤算法展开面向计算机专业毕业生、推荐系统研究者以及需要撰写同类课题论文的开发者。系统设计采用爬虫自动采集小说数据通过Django框架构建用户界面与后台管理使用MySQL存储用户信息、小说内容和推荐相关数据同时融入高内聚低耦合的软件工程原则从需求分析到功能实现给出完整技术路径覆盖个人中心、用户管理、小说信息管理、系统管理等模块。压缩包内只有1个docx文件约5MB文档包含中英文摘要、关键词、目录及正文章节围绕选题背景、需求分析、系统设计、功能实现等展开可直接查看、批注或作为毕业设计说明书模板。资源已有315人学习下载内容涉及协同过滤、Hadoop分布式处理、推荐流程与系统优化等关键知识点能帮助读者既看懂推荐系统原理也能参考系统设计、数据库建模与代码思路完成自己的课题方案。1. 一份基于协同过滤算法的小说推荐系统毕业论文能抄作业的完整项目如果你是正在做毕设、课程设计或者想快速搭一套带推荐算法的 Web 系统来应付答辩这份基于 Hadoop Python 的协同过滤小说推荐系统的论文加源码算是比较完整的参考样本。它不是一个 PPT 式的概念稿而是从 Scrapy 爬虫采集小说数据、到 MySQL 存储、再到 Django 渲染管理后台、最后用协同过滤算法产出 TopN 推荐列表的闭环项目。整篇论文的结构覆盖了绪论、开发环境、系统分析、系统设计、界面实现和系统测试源码里对应着用户管理、小说信息管理、个人中心、系统管理等模块。有一点要提醒你论文标题里虽然有 Hadoop但推荐系统真正的核心逻辑在协同过滤算法和数据处理链路Hadoop 更多是作为大数据处理的架构背书存在。适合拿来做毕设蓝本或者给刚接触推荐系统的开发者当练手项目。2. 系统架构与选型Django、MySQL、Scrapy、Hadoop 各管哪一段2.1 四个组件的职责边界这套小说推荐系统的技术栈看着多实际拆开看每个组件管的活儿很清晰。Django 负责 Web 应用的主体包括用户登录、管理员后台、小说信息的前后端交互MySQL 负责所有结构化数据的持久化用户表、小说表、评分记录、公告信息都落在里面Scrapy 负责从外部网站抓取小说数据把书名、作者、简介、封面图这类信息灌进数据库Hadoop 在这个项目里扮演的角色是海量用户行为数据的分布式存储与批处理底座论文里提到用 HDFS 存数据、用 MapReduce 做计算但在一个课程设计级别的系统里它更多是体现大数据思路的加分项不是推荐链路里的必需环节。实际复现的时候只跑 Django MySQL Scrapy 也能把推荐功能完整跑起来。用一张表概括就是组件职责在系统里的位置DjangoMTV 框架渲染页面、处理请求用户端和管理员端的所有 Web 交互MySQL存储用户、小说、评分等结构化数据数据持久层推荐算法读取的数据来源Scrapy爬取小说信息结构化输出数据采集层自动填充小说库HadoopHDFS 存储 MapReduce 批处理大数据处理层论文中的架构背书协同过滤算法基于用户行为计算相似度并推荐推荐引擎层产出个性化列表2.2 为什么用 Django 而不是 Flask 或 Spring Boot论文里选 Django 的理由很实在自带 Admin 后台、ORM、用户认证体系开发效率高。对比 FlaskDjango 是全家桶式框架项目结构是约定好的建一个小说推荐系统这种带管理员后台的项目Django 的 admin 组件直接省掉一大半 CRUD 页面的开发量。Flask 灵活但需要自己拼装各种扩展对于需求相对固定的课程设计或毕设Django 的开箱即用属性更匹配。技术上Django 采用 MTV 模式Model 对应数据模型Template 对应 HTML 模板View 对应业务逻辑处理。配合 ORM 机制开发者可以用 Python 类定义数据表结构类属性映射数据库列CRUD 操作通过对象方法完成不需要手写原生 SQL。论文里用的是 Python 3.6.4 和 Django 自带的 ORM数据库驱动走 pymysql这个组合在 Windows 和 Linux 上都能稳定跑。2.3 高内聚低耦合在系统里怎么落地的论文反复提到高内聚低耦合设计原则。拆开看系统按功能边界分成了几个独立模块用户模块管注册登录和个人信息小说信息模块管小说数据的增删改查推荐模块管基于协同过滤的推荐计算系统管理模块管轮播图、公告、关于我们这类运营内容。每个模块内部功能聚焦模块之间通过 Django 的 URL 路由和 ORM 模型交互不直接互相操作内部数据。实际写代码的时候低耦合体现在推荐算法逻辑被封装成独立服务Django 视图层只负责拿当前用户 ID 调用推荐服务拿到结果后塞进模板上下文。算法模块不依赖 Django 的 models 对象而是从 MySQL 读取评分数据转成稀疏矩阵再计算。这样做的好处是以后想换算法、换数据源只需要替换推荐服务内部实现视图层和模板层不用动。我在自己的项目里也是这么处理的算法和 Web 层解耦之后调试推荐结果简单很多不用每次都在浏览器里点来点去。2.4 Hadoop 在论文里的真实分量加分项还是必需品说句实在话在一个小说推荐系统里Hadoop 不是必需品。论文里介绍 HDFS 的高容错、高扩展、低成本这些特性更多是在撑大数据的场子。如果你的毕设题目是基于协同过滤算法的小说推荐系统答辩老师大概率不会揪着 Hadoop 问太深但你要是完全没提大数据处理又会显得技术栈不够丰满。常见做法是把 Hadoop 装成伪分布式模式用 HDFS 存一份用户行为日志或者爬虫抓取的原始数据展示一下数据上传下载的基本操作然后说明生产环境下海量行为数据会通过 MapReduce 做离线预处理再同步到 MySQL 供推荐算法读取这就把 Hadoop 和推荐系统的关系说圆了。真正要花功夫的是协同过滤算法的实现和推荐效果这才是系统的灵魂。论文里也明确写了协同过滤的核心思想是综合大家的反馈、评价和意见对海量信息进行过滤筛选出用户可能感兴趣的信息所以接下来重点拆算法部分。3. 协同过滤算法实现相似度计算到 TopN 推荐3.1 先定路线UserCF 还是 ItemCF协同过滤分两大类基于用户的协同过滤UserCF和基于物品的协同过滤ItemCF。UserCF 的核心逻辑是找与当前用户兴趣相似的其他用户把这些用户喜欢过但当前用户没看过的小说推荐出去ItemCF 的核心逻辑是找与用户历史上喜欢的小说相似的其他小说直接推荐相似内容。论文里的描述更偏向 UserCF系统根据用户阅读历史和偏好分析相似用户再生成个性化推荐。选 UserCF 的一个朴素原因是小说推荐场景下用户数量级相对可控计算用户相似度的成本可以接受。而且论文需要展示完整的算法推导UserCF 的距离更直观建立用户-小说评分矩阵计算用户间相似度取 TopN 相似用户提取这些用户评分高且目标用户未读的小说。ItemCF 适合物品数量稳定、用户兴趣相对固定的场景比如电商小说推荐更看重发现新作者、新题材所以 UserCF 更贴合。3.2 用户相似度计算的 Python 实现相似度计算是协同过滤的核心环节。常见做法是余弦相似度把每个用户的评分向量看作高维空间的一个点两个用户越相似两个向量的夹角越小余弦值越接近 1。下面代码是论文体系的精简实现可以直接跑。import math from collections import defaultdict def load_user_ratings(data): 将原始评分数据转换为用户-物品字典 data格式: [(user_id, novel_id, rating), ...] user_ratings defaultdict(dict) for user_id, novel_id, rating in data: user_ratings[user_id][novel_id] rating return user_ratings def cosine_similarity(user_ratings, user_a, user_b): 计算两个用户之间的余弦相似度 # 找出两个用户共同评分过的小说 common_novels set(user_ratings[user_a].keys()) set(user_ratings[user_b].keys()) if not common_novels: return 0.0 # 分别计算两个用户的评分向量模长仅统计共同评分项 dot_product 0.0 norm_a 0.0 norm_b 0.0 for novel in common_novels: rating_a user_ratings[user_a][novel] rating_b user_ratings[user_b][novel] dot_product rating_a * rating_b norm_a rating_a ** 2 norm_b rating_b ** 2 if norm_a 0 or norm_b 0: return 0.0 return dot_product / (math.sqrt(norm_a) * math.sqrt(norm_b))这段代码的关键点在于先求两个用户的共同评分物品集合如果没有交集直接返回相似度 0不参与后续推荐否则计算向量内积和模长套余弦公式。一个容易被忽略的细节是norm 只在共同评分项上累加而不是把用户的全量评分向量都算进去这样算出来的才是共同评分空间下的相似度。如果对全量向量算模长用户的不同评分习惯会被误判为相似度差异。3.3 生成 TopN 推荐列表有了用户间相似度接下来的推荐流程分三步为当前用户找出 TopK 相似用户聚合这些用户评分高的小说过滤掉当前用户已经读过的按预测评分排序输出。def recommend_novels(user_ratings, target_user, top_k10, recommend_num5): 基于UserCF为指定用户生成推荐列表 # 计算目标用户与其他所有用户的相似度 similarity_scores [] for user in user_ratings.keys(): if user target_user: continue score cosine_similarity(user_ratings, target_user, user) if score 0: similarity_scores.append((user, score)) # 按相似度从高到低排序取前top_k个相似用户 similarity_scores.sort(keylambda x: x[1], reverseTrue) top_users similarity_scores[:top_k] # 聚合相似用户的小说评分 novel_scores defaultdict(float) novel_frequency defaultdict(int) for user, sim_score in top_users: for novel, rating in user_ratings[user].items(): if novel not in user_ratings[target_user]: # 排除已读小说 novel_scores[novel] sim_score * rating novel_frequency[novel] 1 # 按加权评分排序返回推荐列表 ranked_novels sorted(novel_scores.items(), keylambda x: x[1], reverseTrue) return ranked_novels[:recommend_num]参数说明top_k 控制参与推荐的相似用户数量太大会引入低相似度用户的噪音太小则推荐结果不够丰富论文场景下取 10 到 20 比较合适recommend_num 控制最终推荐条数取 5 到 10 是常规做法。这段代码的加权逻辑是相似度 × 评分累加相似用户权重越高其评分对最终推荐排序的影响越大。一个可以优化的点是加一个频率过滤——如果一本小说只有一个相似用户评过分即使加权分高也不够稳健可以在聚合后加一个次数过滤条件比如 novel_frequency[novel] 2 才进入排序。3.4 离线评估推荐效果推荐算法写完不能直接上先离线评估。最常见的方法是留一法把用户的历史评分随机留一个出来用剩下的数据做推荐看被推荐的列表里有没有包含那个被留出来的小说统计命中率。还能用准确率和召回率评估公式不复杂def evaluate(rec_list, holdout_items): 简单评估计算推荐命中率 rec_list: 推荐的小说ID列表 holdout_items: 被留出的真实阅读小说ID集合 hit_count len(set(rec_list) holdout_items) precision hit_count / len(rec_list) if rec_list else 0 recall hit_count / len(holdout_items) if holdout_items else 0 return precision, recall准确率看推荐列表里有多少是真的被用户读过的召回率看真实阅读记录里有多少被推荐出来了。论文测试章节里列了不少功能测试用例比如用户登录、添加小说、修改信息、删除信息但算法效果的评估需要通过这类离线指标来补充。我当时跑这个流程的经验是数据稀疏的时候准确率低是正常的关键在于相似用户的质量评分记录太少的话余弦相似度的区分度很差这也是协同过滤最经典的坑下面单独开一章说。4. Scrapy 爬虫与 MySQL 入库推荐的数据从哪来4.1 Scrapy 项目骨架与 Spider 编写小说推荐系统只有算法没有数据是空转的论文提到通过 Scrapy 爬虫技术获取数据。Scrapy 项目常规结构是 spiders 目录放爬虫逻辑、items.py 定义数据字段、pipelines.py 做清洗入库、settings.py 配并发和下载延迟。写一个最小爬虫核心是定义 Item 和 Spider 两个文件。# items.py import scrapy class NovelItem(scrapy.Item): title scrapy.Field() # 书名 author scrapy.Field() # 作者 category scrapy.Field() # 分类 intro scrapy.Field() # 简介 cover_url scrapy.Field() # 封面图地址# spiders/novel_spider.py import scrapy from novel_crawler.items import NovelItem class NovelSpider(scrapy.Spider): name novel_spider allowed_domains [example.com] # 替换成真实的小说站域名 start_urls [http://www.example.com/novel/] def parse(self, response): # 定位小说列表项逐个提取字段 for novel in response.css(div.novel-item): item NovelItem() item[title] novel.css(h2 a::text).get() item[author] novel.css(span.author::text).get() item[category] novel.css(span.category::text).get() item[intro] novel.css(p.intro::text).get() item[cover_url] novel.css(img::attr(src)).get() yield item逻辑说明parse 方法把 HTML 解析成结构化的 Item 对象每 yield 一个 Item它就会流向 Pipeline 做后续处理。字段选择器用 CSS 语法h2 a::text 表示取 h2 下 a 标签的文本img::attr(src) 表示取 img 标签的 src 属性。这里的重点是结构化输出Item 字段设计要和 MySQL 表字段对应后面入库才能直接塞。4.2 Pipeline 清洗去重与落库Pipeline 是数据入库前最后一道关口。这里需要做三件事清洗缺失字段、剔除重复数据、写 MySQL。同时要留意编码问题网页大概率是 GBK 或 GB2312 编码而 MySQL 表用的是 utf8mb4抓下来不做转码入库就是一堆乱码。# pipelines.py import pymysql from itemadapter import ItemAdapter class NovelPipeline: def open_spider(self, spider): # 建立数据库连接 self.conn pymysql.connect( host127.0.0.1, port3306, userroot, passwordyour_password, databasenovel_db, charsetutf8mb4 ) self.cursor self.conn.cursor() def process_item(self, item, spider): # 清洗去掉空字段和纯空白字符串 adapter ItemAdapter(item) for field in adapter.field_names(): value adapter.get(field) if value is None: adapter[field] elif isinstance(value, str): adapter[field] value.strip() # 入库重复书名直接跳过 sql INSERT INTO novel_info(title, author, category, intro, cover_url) VALUES(%s, %s, %s, %s, %s) try: self.cursor.execute(sql, ( item[title], item[author], item[category], item[intro], item[cover_url] )) self.conn.commit() except pymysql.err.IntegrityError: # 主键或唯一索引冲突说明已存在跳过 self.logger.warning(f重复小说: {item[title]}) def close_spider(self, spider): self.cursor.close() self.conn.close()逻辑说明pymysql 连接参数里的 charset 必须写 utf8mb4小说简介里常有特殊字符和 emojiutf8 会存不进去。去重用的是数据库层唯一索引写表前要给 title 加唯一约束然后靠 IntegrityError 捕获重复插入。另一个细节是 strip() 操作HTML 解析出来的文本经常带换行和空格不清理直接入库会影响后续展示和推荐计算的字符串匹配。4.3 增量爬取策略小说网站内容更新频繁每次全量重爬不仅慢还会产生大量无效请求。常见做法是爬取时带上最后更新时间参数只抓最近一天内有更新的章节或书籍。Scrapy 里可以用 Request 的 meta 参数带上时间标记也可以在 Spider 里维护一个上次爬取的时间戳请求列表页时在 URL 拼参数。# 增量爬取的简化思路 import time class NovelSpider(scrapy.Spider): name novel_spider def start_requests(self): # 取当前时间戳爬取该时间之后更新的小说 last_update time.strftime(%Y-%m-%d, time.localtime(time.time() - 86400)) url fhttp://www.example.com/novel/?update_after{last_update} yield scrapy.Request(url, callbackself.parse)增量爬取的核心价值是控制数据量和请求压力。对一个课程设计项目来说数据量不需要太大几百本小说、几千条评分记录就足够让推荐算法转起来。爬虫这边最怕的不是数据量小而是爬到一半被目标站点封 IP这个坑下面避坑章细说。5. 避坑与常见问题跑这套系统的五个翻车点5.1 冷启动新用户没有任何历史行为推荐结果直接为空现象注册一个新账号登录系统推荐列表是空的页面一片空白。原因是协同过滤算法完全依赖用户的历史评分数据新用户没有评分记录相似度计算里共同评分集合为空所有相似度都是 0自然集不出推荐结果。解决给冷启动用户一个兜底策略——不启用个性化推荐改为推荐全局热门小说。比如统计所有用户评分的平均分按平均分倒序推荐 Top10等用户产生评分行为后再切换回协同过滤推荐。论文的系统里建议在用户管理模块加一个阅读行为采集埋点用户点开一本小说就记录一次浏览行为用浏览行为作为隐性评分能比较快度过冷启动期。5.2 用户-小说矩阵过于稀疏推荐结果随机感很强现象推荐列表每次刷新都不一样或者推荐出来的小说和用户明显不搭边。原因是评分数据太少用户平均只评过几本书余弦相似度在极稀疏的向量上区分度极低很多用户相似度算出来接近 1推荐结果几乎等于随机。解决把评分矩阵做稠密化处理。常见做法是填充默认值用户没评分的小说按 0 处理但这会引入大量无意义的 0 向量进一步稀释相似度。更好的方案是做矩阵分解用 SVD 或 FunkSVD 把高维稀疏矩阵压缩成低维稠密向量再用压缩后的隐向量算相似度。在给论文的代码包做扩展时可以加一个 SVD 版本对比实验展示稀疏问题如何被缓解。5.3 Scrapy 爬下来的中文入库变乱码现象MySQL 表里的小说标题显示为锟斤拷或者銇这样的乱码页面渲染出来全是问号。原因是网页源编码是 GBKScrapy 默认按 UTF-8 解码解码失败后产生乱码或者 MySQL 表是 latin1 字符集存不进中文。解决在 Scrapy 的 settings.py 里配置 FEED_ENCODING 和请求头优先让响应按正确编码解码更可靠的是在 Pipeline 里用 response.encoding 判断并转码。MySQL 侧建表时统一用 utf8mb4 字符集连接参数 charset 也配 utf8mb4。另外要注意HTML 里声明的 charset 和实际内容编码可能不一致最稳的处理是拿到 HTML 后用 charset-normalizer 库做探测再做统一转换。5.4 Hadoop 伪分布式装好了却连不上、跑不动现象照着教程装完 Hadoop 伪分布式start-dfs.sh 执行完浏览器访问 50070 端口能看到 NameNode 页面但 hdfs dfs -put 上传文件一直卡住或者报连接拒绝。原因是常见三个一是 localhost 和 hostname 解析不一致NameNode 绑定的是 hostname 对应的 IP而 dfs 命令解析到了 127.0.0.1二是防火墙没放行 50070 和 9000 端口三是伪分布式模式下内存分配不合理默认堆内存太大本机内存不足导致 DataNode 进程直接被杀。解决确认 hostname 配置正确在 /etc/hosts 里把 127.0.0.1 映射到机器名核对 core-site.xml 里的 fs.defaultFS 和客户端访问地址一致调小 HADOOP_HEAPSIZE比如设成 512m给本机留出足够内存。这个项目里 Hadoop 只是个数据处理的背书组件本地跑不起来不影响推荐系统演示但如果答辩要展示大数据处理链路还是建议提前把伪分布式调通。5.5 爬虫爬到一半被目标网站封禁现象爬虫跑了几百条数据后突然开始大量超时或者返回的状态码变成 403再刷新目标网站页面都需要验证码。原因是请求频率太高目标站已经识别到非人类行为把当前 IP 加入了临时黑名单。解决第一层是降速——把 DOWNLOAD_DELAY 设置成 2 到 3 秒关闭并发第二层是伪装——设置完整的 User-Agent 和 Referer 头模拟真实浏览器请求第三层是代理这个项目是课程设计规模不建议上用商业代理池把下载延迟调大、单线程跑基本就不会触发反爬。还需要注意用 Scrapy 的 AutoThrottle 插件它能根据服务器响应时间自动调节爬取速度比手动固定延迟更智能能在不封 IP 的前提下保持较快的采集速度。6. 本地复现与下一步把论文系统跑成自己的推荐服务建议你把系统拆成两个阶段跑第一阶段只跑 Django MySQL 协同过滤用本地造的小数据集验证推荐链路第二阶段再上 Scrapy 爬虫和 Hadoop 伪分布式把数据量撑起来。我的习惯是先建立一个 users_novels_ratings 表手动插进去 10 个用户、20 本小说、50 条评分记录然后直接调 recommend_novels 函数这样能最快看到推荐效果。复现时最实用的一步是把推荐逻辑封装成独立的 Python 模块再在 Django 的视图里调用。比如建一个 recommender.py里面放 load_user_ratings、cosine_similarity、recommend_novels 三个函数视图层只负责查询当前用户 ID 和历史评分传入模块拿到推荐列表后渲染模板。# Django 视图中的调用方式 from django.shortcuts import render from recommender import load_user_ratings, recommend_novels from .models import UserRating def novel_recommend_view(request): user_id request.user.id ratings_data UserRating.objects.values_list(user_id, novel_id, rating) user_ratings load_user_ratings(ratings_data) rec_list recommend_novels(user_ratings, target_useruser_id, top_k10, recommend_num6) context {novel_list: rec_list} return render(request, novel/recommend.html, context)参数说明top_k 和 recommend_num 可以根据线上效果调评分数据稀疏时 top_k 调大一些比如 20避免相似用户太少评分数据充足时调小到 8 到 10提升推荐精度。下一步做增强有两条路。一是把离线过的协同过滤改成带时间衰减的版本用户近期读过的书权重调高老数据按时间指数衰减公式类似 rating_weight rating * exp(-decay * days_ago)。这个优化很容易在答辩时讲出亮点——它不仅关注用户喜欢什么还关注用户当下喜欢什么。二是在推荐列表接口加一层 A/B 测试逻辑按用户 ID 尾号决定走协同过滤还是热门推荐这样就能用真实点击数据评估推荐效果而不是只靠离线指标。我从搭建这套系统得到的最大教训是推荐算法项目的核心不是模型有多高级而是数据链路有多完整。小说信息没抓全、评分数据太稀、用户行为没记录再花哨的算法也推不出好东西。从那以后我每做一个推荐相关的项目都先把埋点和数据采集梳理得明明白白确认能拿到真实、干净、够量的数据才动手调算法参数。希望这篇拆解能帮你在复现或者做毕设的时候少走几个弯路。本文还有配套的精品资源点击获取 基于协同过滤的小说推荐系统：从爬虫到Django完整实现
简介一份基于Hadoop与Python的小说推荐系统毕业论文围绕协同过滤算法展开面向计算机专业毕业生、推荐系统研究者以及需要撰写同类课题论文的开发者。系统设计采用爬虫自动采集小说数据通过Django框架构建用户界面与后台管理使用MySQL存储用户信息、小说内容和推荐相关数据同时融入高内聚低耦合的软件工程原则从需求分析到功能实现给出完整技术路径覆盖个人中心、用户管理、小说信息管理、系统管理等模块。压缩包内只有1个docx文件约5MB文档包含中英文摘要、关键词、目录及正文章节围绕选题背景、需求分析、系统设计、功能实现等展开可直接查看、批注或作为毕业设计说明书模板。资源已有315人学习下载内容涉及协同过滤、Hadoop分布式处理、推荐流程与系统优化等关键知识点能帮助读者既看懂推荐系统原理也能参考系统设计、数据库建模与代码思路完成自己的课题方案。1. 一份基于协同过滤算法的小说推荐系统毕业论文能抄作业的完整项目如果你是正在做毕设、课程设计或者想快速搭一套带推荐算法的 Web 系统来应付答辩这份基于 Hadoop Python 的协同过滤小说推荐系统的论文加源码算是比较完整的参考样本。它不是一个 PPT 式的概念稿而是从 Scrapy 爬虫采集小说数据、到 MySQL 存储、再到 Django 渲染管理后台、最后用协同过滤算法产出 TopN 推荐列表的闭环项目。整篇论文的结构覆盖了绪论、开发环境、系统分析、系统设计、界面实现和系统测试源码里对应着用户管理、小说信息管理、个人中心、系统管理等模块。有一点要提醒你论文标题里虽然有 Hadoop但推荐系统真正的核心逻辑在协同过滤算法和数据处理链路Hadoop 更多是作为大数据处理的架构背书存在。适合拿来做毕设蓝本或者给刚接触推荐系统的开发者当练手项目。2. 系统架构与选型Django、MySQL、Scrapy、Hadoop 各管哪一段2.1 四个组件的职责边界这套小说推荐系统的技术栈看着多实际拆开看每个组件管的活儿很清晰。Django 负责 Web 应用的主体包括用户登录、管理员后台、小说信息的前后端交互MySQL 负责所有结构化数据的持久化用户表、小说表、评分记录、公告信息都落在里面Scrapy 负责从外部网站抓取小说数据把书名、作者、简介、封面图这类信息灌进数据库Hadoop 在这个项目里扮演的角色是海量用户行为数据的分布式存储与批处理底座论文里提到用 HDFS 存数据、用 MapReduce 做计算但在一个课程设计级别的系统里它更多是体现大数据思路的加分项不是推荐链路里的必需环节。实际复现的时候只跑 Django MySQL Scrapy 也能把推荐功能完整跑起来。用一张表概括就是组件职责在系统里的位置DjangoMTV 框架渲染页面、处理请求用户端和管理员端的所有 Web 交互MySQL存储用户、小说、评分等结构化数据数据持久层推荐算法读取的数据来源Scrapy爬取小说信息结构化输出数据采集层自动填充小说库HadoopHDFS 存储 MapReduce 批处理大数据处理层论文中的架构背书协同过滤算法基于用户行为计算相似度并推荐推荐引擎层产出个性化列表2.2 为什么用 Django 而不是 Flask 或 Spring Boot论文里选 Django 的理由很实在自带 Admin 后台、ORM、用户认证体系开发效率高。对比 FlaskDjango 是全家桶式框架项目结构是约定好的建一个小说推荐系统这种带管理员后台的项目Django 的 admin 组件直接省掉一大半 CRUD 页面的开发量。Flask 灵活但需要自己拼装各种扩展对于需求相对固定的课程设计或毕设Django 的开箱即用属性更匹配。技术上Django 采用 MTV 模式Model 对应数据模型Template 对应 HTML 模板View 对应业务逻辑处理。配合 ORM 机制开发者可以用 Python 类定义数据表结构类属性映射数据库列CRUD 操作通过对象方法完成不需要手写原生 SQL。论文里用的是 Python 3.6.4 和 Django 自带的 ORM数据库驱动走 pymysql这个组合在 Windows 和 Linux 上都能稳定跑。2.3 高内聚低耦合在系统里怎么落地的论文反复提到高内聚低耦合设计原则。拆开看系统按功能边界分成了几个独立模块用户模块管注册登录和个人信息小说信息模块管小说数据的增删改查推荐模块管基于协同过滤的推荐计算系统管理模块管轮播图、公告、关于我们这类运营内容。每个模块内部功能聚焦模块之间通过 Django 的 URL 路由和 ORM 模型交互不直接互相操作内部数据。实际写代码的时候低耦合体现在推荐算法逻辑被封装成独立服务Django 视图层只负责拿当前用户 ID 调用推荐服务拿到结果后塞进模板上下文。算法模块不依赖 Django 的 models 对象而是从 MySQL 读取评分数据转成稀疏矩阵再计算。这样做的好处是以后想换算法、换数据源只需要替换推荐服务内部实现视图层和模板层不用动。我在自己的项目里也是这么处理的算法和 Web 层解耦之后调试推荐结果简单很多不用每次都在浏览器里点来点去。2.4 Hadoop 在论文里的真实分量加分项还是必需品说句实在话在一个小说推荐系统里Hadoop 不是必需品。论文里介绍 HDFS 的高容错、高扩展、低成本这些特性更多是在撑大数据的场子。如果你的毕设题目是基于协同过滤算法的小说推荐系统答辩老师大概率不会揪着 Hadoop 问太深但你要是完全没提大数据处理又会显得技术栈不够丰满。常见做法是把 Hadoop 装成伪分布式模式用 HDFS 存一份用户行为日志或者爬虫抓取的原始数据展示一下数据上传下载的基本操作然后说明生产环境下海量行为数据会通过 MapReduce 做离线预处理再同步到 MySQL 供推荐算法读取这就把 Hadoop 和推荐系统的关系说圆了。真正要花功夫的是协同过滤算法的实现和推荐效果这才是系统的灵魂。论文里也明确写了协同过滤的核心思想是综合大家的反馈、评价和意见对海量信息进行过滤筛选出用户可能感兴趣的信息所以接下来重点拆算法部分。3. 协同过滤算法实现相似度计算到 TopN 推荐3.1 先定路线UserCF 还是 ItemCF协同过滤分两大类基于用户的协同过滤UserCF和基于物品的协同过滤ItemCF。UserCF 的核心逻辑是找与当前用户兴趣相似的其他用户把这些用户喜欢过但当前用户没看过的小说推荐出去ItemCF 的核心逻辑是找与用户历史上喜欢的小说相似的其他小说直接推荐相似内容。论文里的描述更偏向 UserCF系统根据用户阅读历史和偏好分析相似用户再生成个性化推荐。选 UserCF 的一个朴素原因是小说推荐场景下用户数量级相对可控计算用户相似度的成本可以接受。而且论文需要展示完整的算法推导UserCF 的距离更直观建立用户-小说评分矩阵计算用户间相似度取 TopN 相似用户提取这些用户评分高且目标用户未读的小说。ItemCF 适合物品数量稳定、用户兴趣相对固定的场景比如电商小说推荐更看重发现新作者、新题材所以 UserCF 更贴合。3.2 用户相似度计算的 Python 实现相似度计算是协同过滤的核心环节。常见做法是余弦相似度把每个用户的评分向量看作高维空间的一个点两个用户越相似两个向量的夹角越小余弦值越接近 1。下面代码是论文体系的精简实现可以直接跑。import math from collections import defaultdict def load_user_ratings(data): 将原始评分数据转换为用户-物品字典 data格式: [(user_id, novel_id, rating), ...] user_ratings defaultdict(dict) for user_id, novel_id, rating in data: user_ratings[user_id][novel_id] rating return user_ratings def cosine_similarity(user_ratings, user_a, user_b): 计算两个用户之间的余弦相似度 # 找出两个用户共同评分过的小说 common_novels set(user_ratings[user_a].keys()) set(user_ratings[user_b].keys()) if not common_novels: return 0.0 # 分别计算两个用户的评分向量模长仅统计共同评分项 dot_product 0.0 norm_a 0.0 norm_b 0.0 for novel in common_novels: rating_a user_ratings[user_a][novel] rating_b user_ratings[user_b][novel] dot_product rating_a * rating_b norm_a rating_a ** 2 norm_b rating_b ** 2 if norm_a 0 or norm_b 0: return 0.0 return dot_product / (math.sqrt(norm_a) * math.sqrt(norm_b))这段代码的关键点在于先求两个用户的共同评分物品集合如果没有交集直接返回相似度 0不参与后续推荐否则计算向量内积和模长套余弦公式。一个容易被忽略的细节是norm 只在共同评分项上累加而不是把用户的全量评分向量都算进去这样算出来的才是共同评分空间下的相似度。如果对全量向量算模长用户的不同评分习惯会被误判为相似度差异。3.3 生成 TopN 推荐列表有了用户间相似度接下来的推荐流程分三步为当前用户找出 TopK 相似用户聚合这些用户评分高的小说过滤掉当前用户已经读过的按预测评分排序输出。def recommend_novels(user_ratings, target_user, top_k10, recommend_num5): 基于UserCF为指定用户生成推荐列表 # 计算目标用户与其他所有用户的相似度 similarity_scores [] for user in user_ratings.keys(): if user target_user: continue score cosine_similarity(user_ratings, target_user, user) if score 0: similarity_scores.append((user, score)) # 按相似度从高到低排序取前top_k个相似用户 similarity_scores.sort(keylambda x: x[1], reverseTrue) top_users similarity_scores[:top_k] # 聚合相似用户的小说评分 novel_scores defaultdict(float) novel_frequency defaultdict(int) for user, sim_score in top_users: for novel, rating in user_ratings[user].items(): if novel not in user_ratings[target_user]: # 排除已读小说 novel_scores[novel] sim_score * rating novel_frequency[novel] 1 # 按加权评分排序返回推荐列表 ranked_novels sorted(novel_scores.items(), keylambda x: x[1], reverseTrue) return ranked_novels[:recommend_num]参数说明top_k 控制参与推荐的相似用户数量太大会引入低相似度用户的噪音太小则推荐结果不够丰富论文场景下取 10 到 20 比较合适recommend_num 控制最终推荐条数取 5 到 10 是常规做法。这段代码的加权逻辑是相似度 × 评分累加相似用户权重越高其评分对最终推荐排序的影响越大。一个可以优化的点是加一个频率过滤——如果一本小说只有一个相似用户评过分即使加权分高也不够稳健可以在聚合后加一个次数过滤条件比如 novel_frequency[novel] 2 才进入排序。3.4 离线评估推荐效果推荐算法写完不能直接上先离线评估。最常见的方法是留一法把用户的历史评分随机留一个出来用剩下的数据做推荐看被推荐的列表里有没有包含那个被留出来的小说统计命中率。还能用准确率和召回率评估公式不复杂def evaluate(rec_list, holdout_items): 简单评估计算推荐命中率 rec_list: 推荐的小说ID列表 holdout_items: 被留出的真实阅读小说ID集合 hit_count len(set(rec_list) holdout_items) precision hit_count / len(rec_list) if rec_list else 0 recall hit_count / len(holdout_items) if holdout_items else 0 return precision, recall准确率看推荐列表里有多少是真的被用户读过的召回率看真实阅读记录里有多少被推荐出来了。论文测试章节里列了不少功能测试用例比如用户登录、添加小说、修改信息、删除信息但算法效果的评估需要通过这类离线指标来补充。我当时跑这个流程的经验是数据稀疏的时候准确率低是正常的关键在于相似用户的质量评分记录太少的话余弦相似度的区分度很差这也是协同过滤最经典的坑下面单独开一章说。4. Scrapy 爬虫与 MySQL 入库推荐的数据从哪来4.1 Scrapy 项目骨架与 Spider 编写小说推荐系统只有算法没有数据是空转的论文提到通过 Scrapy 爬虫技术获取数据。Scrapy 项目常规结构是 spiders 目录放爬虫逻辑、items.py 定义数据字段、pipelines.py 做清洗入库、settings.py 配并发和下载延迟。写一个最小爬虫核心是定义 Item 和 Spider 两个文件。# items.py import scrapy class NovelItem(scrapy.Item): title scrapy.Field() # 书名 author scrapy.Field() # 作者 category scrapy.Field() # 分类 intro scrapy.Field() # 简介 cover_url scrapy.Field() # 封面图地址# spiders/novel_spider.py import scrapy from novel_crawler.items import NovelItem class NovelSpider(scrapy.Spider): name novel_spider allowed_domains [example.com] # 替换成真实的小说站域名 start_urls [http://www.example.com/novel/] def parse(self, response): # 定位小说列表项逐个提取字段 for novel in response.css(div.novel-item): item NovelItem() item[title] novel.css(h2 a::text).get() item[author] novel.css(span.author::text).get() item[category] novel.css(span.category::text).get() item[intro] novel.css(p.intro::text).get() item[cover_url] novel.css(img::attr(src)).get() yield item逻辑说明parse 方法把 HTML 解析成结构化的 Item 对象每 yield 一个 Item它就会流向 Pipeline 做后续处理。字段选择器用 CSS 语法h2 a::text 表示取 h2 下 a 标签的文本img::attr(src) 表示取 img 标签的 src 属性。这里的重点是结构化输出Item 字段设计要和 MySQL 表字段对应后面入库才能直接塞。4.2 Pipeline 清洗去重与落库Pipeline 是数据入库前最后一道关口。这里需要做三件事清洗缺失字段、剔除重复数据、写 MySQL。同时要留意编码问题网页大概率是 GBK 或 GB2312 编码而 MySQL 表用的是 utf8mb4抓下来不做转码入库就是一堆乱码。# pipelines.py import pymysql from itemadapter import ItemAdapter class NovelPipeline: def open_spider(self, spider): # 建立数据库连接 self.conn pymysql.connect( host127.0.0.1, port3306, userroot, passwordyour_password, databasenovel_db, charsetutf8mb4 ) self.cursor self.conn.cursor() def process_item(self, item, spider): # 清洗去掉空字段和纯空白字符串 adapter ItemAdapter(item) for field in adapter.field_names(): value adapter.get(field) if value is None: adapter[field] elif isinstance(value, str): adapter[field] value.strip() # 入库重复书名直接跳过 sql INSERT INTO novel_info(title, author, category, intro, cover_url) VALUES(%s, %s, %s, %s, %s) try: self.cursor.execute(sql, ( item[title], item[author], item[category], item[intro], item[cover_url] )) self.conn.commit() except pymysql.err.IntegrityError: # 主键或唯一索引冲突说明已存在跳过 self.logger.warning(f重复小说: {item[title]}) def close_spider(self, spider): self.cursor.close() self.conn.close()逻辑说明pymysql 连接参数里的 charset 必须写 utf8mb4小说简介里常有特殊字符和 emojiutf8 会存不进去。去重用的是数据库层唯一索引写表前要给 title 加唯一约束然后靠 IntegrityError 捕获重复插入。另一个细节是 strip() 操作HTML 解析出来的文本经常带换行和空格不清理直接入库会影响后续展示和推荐计算的字符串匹配。4.3 增量爬取策略小说网站内容更新频繁每次全量重爬不仅慢还会产生大量无效请求。常见做法是爬取时带上最后更新时间参数只抓最近一天内有更新的章节或书籍。Scrapy 里可以用 Request 的 meta 参数带上时间标记也可以在 Spider 里维护一个上次爬取的时间戳请求列表页时在 URL 拼参数。# 增量爬取的简化思路 import time class NovelSpider(scrapy.Spider): name novel_spider def start_requests(self): # 取当前时间戳爬取该时间之后更新的小说 last_update time.strftime(%Y-%m-%d, time.localtime(time.time() - 86400)) url fhttp://www.example.com/novel/?update_after{last_update} yield scrapy.Request(url, callbackself.parse)增量爬取的核心价值是控制数据量和请求压力。对一个课程设计项目来说数据量不需要太大几百本小说、几千条评分记录就足够让推荐算法转起来。爬虫这边最怕的不是数据量小而是爬到一半被目标站点封 IP这个坑下面避坑章细说。5. 避坑与常见问题跑这套系统的五个翻车点5.1 冷启动新用户没有任何历史行为推荐结果直接为空现象注册一个新账号登录系统推荐列表是空的页面一片空白。原因是协同过滤算法完全依赖用户的历史评分数据新用户没有评分记录相似度计算里共同评分集合为空所有相似度都是 0自然集不出推荐结果。解决给冷启动用户一个兜底策略——不启用个性化推荐改为推荐全局热门小说。比如统计所有用户评分的平均分按平均分倒序推荐 Top10等用户产生评分行为后再切换回协同过滤推荐。论文的系统里建议在用户管理模块加一个阅读行为采集埋点用户点开一本小说就记录一次浏览行为用浏览行为作为隐性评分能比较快度过冷启动期。5.2 用户-小说矩阵过于稀疏推荐结果随机感很强现象推荐列表每次刷新都不一样或者推荐出来的小说和用户明显不搭边。原因是评分数据太少用户平均只评过几本书余弦相似度在极稀疏的向量上区分度极低很多用户相似度算出来接近 1推荐结果几乎等于随机。解决把评分矩阵做稠密化处理。常见做法是填充默认值用户没评分的小说按 0 处理但这会引入大量无意义的 0 向量进一步稀释相似度。更好的方案是做矩阵分解用 SVD 或 FunkSVD 把高维稀疏矩阵压缩成低维稠密向量再用压缩后的隐向量算相似度。在给论文的代码包做扩展时可以加一个 SVD 版本对比实验展示稀疏问题如何被缓解。5.3 Scrapy 爬下来的中文入库变乱码现象MySQL 表里的小说标题显示为锟斤拷或者銇这样的乱码页面渲染出来全是问号。原因是网页源编码是 GBKScrapy 默认按 UTF-8 解码解码失败后产生乱码或者 MySQL 表是 latin1 字符集存不进中文。解决在 Scrapy 的 settings.py 里配置 FEED_ENCODING 和请求头优先让响应按正确编码解码更可靠的是在 Pipeline 里用 response.encoding 判断并转码。MySQL 侧建表时统一用 utf8mb4 字符集连接参数 charset 也配 utf8mb4。另外要注意HTML 里声明的 charset 和实际内容编码可能不一致最稳的处理是拿到 HTML 后用 charset-normalizer 库做探测再做统一转换。5.4 Hadoop 伪分布式装好了却连不上、跑不动现象照着教程装完 Hadoop 伪分布式start-dfs.sh 执行完浏览器访问 50070 端口能看到 NameNode 页面但 hdfs dfs -put 上传文件一直卡住或者报连接拒绝。原因是常见三个一是 localhost 和 hostname 解析不一致NameNode 绑定的是 hostname 对应的 IP而 dfs 命令解析到了 127.0.0.1二是防火墙没放行 50070 和 9000 端口三是伪分布式模式下内存分配不合理默认堆内存太大本机内存不足导致 DataNode 进程直接被杀。解决确认 hostname 配置正确在 /etc/hosts 里把 127.0.0.1 映射到机器名核对 core-site.xml 里的 fs.defaultFS 和客户端访问地址一致调小 HADOOP_HEAPSIZE比如设成 512m给本机留出足够内存。这个项目里 Hadoop 只是个数据处理的背书组件本地跑不起来不影响推荐系统演示但如果答辩要展示大数据处理链路还是建议提前把伪分布式调通。5.5 爬虫爬到一半被目标网站封禁现象爬虫跑了几百条数据后突然开始大量超时或者返回的状态码变成 403再刷新目标网站页面都需要验证码。原因是请求频率太高目标站已经识别到非人类行为把当前 IP 加入了临时黑名单。解决第一层是降速——把 DOWNLOAD_DELAY 设置成 2 到 3 秒关闭并发第二层是伪装——设置完整的 User-Agent 和 Referer 头模拟真实浏览器请求第三层是代理这个项目是课程设计规模不建议上用商业代理池把下载延迟调大、单线程跑基本就不会触发反爬。还需要注意用 Scrapy 的 AutoThrottle 插件它能根据服务器响应时间自动调节爬取速度比手动固定延迟更智能能在不封 IP 的前提下保持较快的采集速度。6. 本地复现与下一步把论文系统跑成自己的推荐服务建议你把系统拆成两个阶段跑第一阶段只跑 Django MySQL 协同过滤用本地造的小数据集验证推荐链路第二阶段再上 Scrapy 爬虫和 Hadoop 伪分布式把数据量撑起来。我的习惯是先建立一个 users_novels_ratings 表手动插进去 10 个用户、20 本小说、50 条评分记录然后直接调 recommend_novels 函数这样能最快看到推荐效果。复现时最实用的一步是把推荐逻辑封装成独立的 Python 模块再在 Django 的视图里调用。比如建一个 recommender.py里面放 load_user_ratings、cosine_similarity、recommend_novels 三个函数视图层只负责查询当前用户 ID 和历史评分传入模块拿到推荐列表后渲染模板。# Django 视图中的调用方式 from django.shortcuts import render from recommender import load_user_ratings, recommend_novels from .models import UserRating def novel_recommend_view(request): user_id request.user.id ratings_data UserRating.objects.values_list(user_id, novel_id, rating) user_ratings load_user_ratings(ratings_data) rec_list recommend_novels(user_ratings, target_useruser_id, top_k10, recommend_num6) context {novel_list: rec_list} return render(request, novel/recommend.html, context)参数说明top_k 和 recommend_num 可以根据线上效果调评分数据稀疏时 top_k 调大一些比如 20避免相似用户太少评分数据充足时调小到 8 到 10提升推荐精度。下一步做增强有两条路。一是把离线过的协同过滤改成带时间衰减的版本用户近期读过的书权重调高老数据按时间指数衰减公式类似 rating_weight rating * exp(-decay * days_ago)。这个优化很容易在答辩时讲出亮点——它不仅关注用户喜欢什么还关注用户当下喜欢什么。二是在推荐列表接口加一层 A/B 测试逻辑按用户 ID 尾号决定走协同过滤还是热门推荐这样就能用真实点击数据评估推荐效果而不是只靠离线指标。我从搭建这套系统得到的最大教训是推荐算法项目的核心不是模型有多高级而是数据链路有多完整。小说信息没抓全、评分数据太稀、用户行为没记录再花哨的算法也推不出好东西。从那以后我每做一个推荐相关的项目都先把埋点和数据采集梳理得明明白白确认能拿到真实、干净、够量的数据才动手调算法参数。希望这篇拆解能帮你在复现或者做毕设的时候少走几个弯路。本文还有配套的精品资源点击获取 
