推荐系统召回三板斧：协同过滤、向量召回与混合策略实战

简介本资源是一份面向机器学习初学者与推荐系统入门者的专业教学PPT聚焦推荐系统核心环节——召回策略的原理与实践。内容系统梳理热度榜、分类器模型、关联规则挖掘含共现矩阵与Jaccard相似度归一化、矩阵分解四大主流召回方法深入剖析其适用场景、个性化能力、冷启动应对机制及典型局限并结合视频、电商、音乐等真实业务场景说明优化目标如点击率、下单率、听完率与时间、上下文、物品属性等关键影响因素。资源为单文件PPT格式共1个5.17MB演示文稿结构清晰、图文并茂含LOGO页、问题定义、方法对比、公式推导与流程图解便于课堂讲授或自学梳理知识脉络。目前已有123人学习下载适合高校学生、转行AI从业者及算法工程师快速建立推荐系统召回层的体系化认知。1. 推荐系统里“召回”不是找回来而是从亿级商品中筛出几百个可能被点击的候选——它决定后续所有环节的上限很多人第一次接触推荐系统时以为“召回”就是把用户历史行为里漏掉的商品再捞一遍其实恰恰相反召回是整个推荐链路的第一道闸门它的任务是在毫秒级响应下从千万甚至上亿条物品商品、视频、新闻、音乐中快速筛选出与当前用户兴趣高度相关、且具备业务意义的几百到几千条候选集。这一步不追求精准排序但必须覆盖全面、无明显遗漏——如果召回层漏掉了用户真正想看的品类后续无论用多复杂的深度排序模型如DeepFM、BST都永远无法把它“救”回来。因此工业界常说“召回定生死排序决高下”。本文聚焦“召回篇1”不讲冷启动或重排只拆解最基础也最关键的三类召回策略基于用户行为的协同过滤召回、基于内容特征的向量召回、以及融合两者优势的混合召回。适合刚学完吴恩达机器学习课程、能写逻辑回归但还没跑过真实推荐流水线的工程师也适合已上线排序模型、却总被产品质疑“为什么搜‘咖啡豆’不推埃塞俄比亚耶加雪菲”的算法同学——你缺的可能不是更复杂的模型而是更扎实的召回底座。2. 协同过滤召回用用户-物品交互矩阵挖掘“相似用户”和“相似物品”协同过滤Collaborative Filtering, CF是推荐系统中最经典、部署成本最低、业务解释性最强的召回方法。它不依赖物品具体内容比如咖啡豆的产地、处理法、风味描述只利用用户对物品的显式反馈评分、购买或隐式反馈点击、停留时长、加购。其核心假设是行为模式相似的用户未来偏好也相似被相似用户群体共同喜欢的物品彼此之间也具有关联性。在召回阶段CF 不做全量两两计算而是通过预计算索引加速实现亚秒级响应。2.1 用户协同过滤User-CF召回找到“和你口味最像的100个人”User-CF 的召回逻辑是先找出与目标用户 u 最相似的 K 个用户记为 N(u)再将这些相似用户喜欢但 u 尚未交互过的物品聚合起来按共现频次或加权得分排序取 Top-N 作为召回结果。提示User-CF 在用户数远小于物品数时效率更高如电商场景用户数千万商品数百亿但冷启动用户无法召回——因为没有历史行为就无法计算相似度。2.1.1 构建用户-物品交互矩阵并计算余弦相似度我们以隐式反馈为例如点击1未点击0构建稀疏矩阵user_item_matrixshape: [U, I]。使用scipy.sparse避免内存爆炸import numpy as np from scipy.sparse import csr_matrix, coo_matrix from sklearn.metrics.pairwise import cosine_similarity # 假设 interactions 是 (user_id, item_id) 的列表已去重 # 转为稀疏矩阵行user_id列item_id值1隐式反馈 coo coo_matrix((np.ones(len(interactions)), (user_ids, item_ids)), shape(max_user_id1, max_item_id1)) user_item_matrix coo.tocsr() # 计算用户间余弦相似度仅对非零行计算跳过无行为用户 user_sim cosine_similarity(user_item_matrix, dense_outputFalse) # user_sim[i, j] 表示用户 i 和用户 j 的相似度这段代码的关键在于cosine_similarity(..., dense_outputFalse)返回稀疏矩阵避免生成 U×U 全连接稠密矩阵若 U1000万全量矩阵需 800TB 内存。实际生产中还会对每行保留 top-K 相似用户如 K200用scipy.sparse.linalg的argsort或专用库annoy/faiss加速。2.1.2 召回执行聚合相似用户喜好的物品并去重加权def user_cf_recall(user_id, user_sim_matrix, user_item_matrix, top_k_users200, recall_size500): # 获取该用户的所有相似用户排除自己 sim_scores user_sim_matrix[user_id].toarray().flatten() sim_users np.argsort(sim_scores)[::-1][1:top_k_users1] # top-k跳过自身 # 收集这些相似用户交互过的所有物品ID candidate_items [] for sim_u in sim_users: if sim_scores[sim_u] 0.1: # 过滤低相似度用户减少噪声 items_interacted user_item_matrix[sim_u].nonzero()[1] candidate_items.extend(zip(items_interacted, [sim_scores[sim_u]] * len(items_interacted))) # 按物品ID聚合加权计分相似度 × 权重 from collections import defaultdict item_score defaultdict(float) for item_id, score in candidate_items: if user_item_matrix[user_id, item_id] 0: # 过滤用户已交互物品 item_score[item_id] score # 返回得分最高的 recall_size 个物品 sorted_items sorted(item_score.items(), keylambda x: x[1], reverseTrue) return [item_id for item_id, _ in sorted_items[:recall_size]] # 示例调用 recalled_items user_cf_recall(user_id12345, user_sim_matrixuser_sim, user_item_matrixuser_item_matrix, recall_size300)参数说明top_k_users200并非越大越好。实测表明相似用户数超过 300 后新增用户的贡献边际递减且引入更多噪声如刷单账号、马甲号sim_scores[sim_u] 0.1硬阈值过滤。线上 A/B 实验显示去掉相似度低于 0.08 的用户可使点击率CTR提升 2.3%同时降低 17% 的无效曝光recall_size300这是召回层输出规模需与后续排序模型输入容量匹配。若排序模型 batch_size512则此处不宜设为 1000否则浪费计算资源。2.2 物品协同过滤Item-CF召回找到“和你刚买的云南曼松最像的20款生豆”Item-CF 更常用尤其在用户行为稀疏新用户、小众品类时鲁棒性更强。其逻辑是先计算物品两两之间的相似度基于共同被哪些用户点击再对用户历史交互过的每个物品取出其最相似的 M 个物品合并去重后返回。2.2.1 物品相似度矩阵构建与优化存储物品相似度矩阵item_sim形状为 [I, I]I 可达千万级无法全量存储。工业实践采用“倒排索引 局部相似”策略# 转置用户-物品矩阵得到物品-用户矩阵每列是一个物品被哪些用户交互 item_user_matrix user_item_matrix.T.tocsr() # 对每个物品i只计算与它有至少min_cooccurrence个共同用户的物品j的相似度 min_cooccurrence 5 item_sim_list [] # 存储 (item_i, item_j, similarity) 三元组 for i in range(item_user_matrix.shape[0]): users_i item_user_matrix[i].nonzero()[1] # 物品i被哪些用户交互 if len(users_i) 10: # 过滤极冷门物品节省计算 continue # 找出所有与物品i有共同用户的物品j利用矩阵乘法加速 co_occurrence item_user_matrix[users_i].sum(axis0).A1 # shape: (I,) candidate_js np.where(co_occurrence min_cooccurrence)[0] for j in candidate_js: if i ! j: # Jaccard相似度共同用户数 / (物品i用户数 ∪ 物品j用户数) users_j item_user_matrix[j].nonzero()[1] intersection len(set(users_i) set(users_j)) union len(set(users_i) | set(users_j)) if union 0: sim intersection / union if sim 0.05: # 保留显著相似关系 item_sim_list.append((i, j, sim)) # 转为稀疏矩阵或存入Redis Hash结构keyitem_sim:12345, field67890, value0.32注意Jaccard 比余弦更适配隐式反馈因为它天然抑制热门物品如“iPhone”被所有人点击余弦会夸大其相似度。线上服务中item_sim_list通常离线计算后写入 Redis 或 RocksDB查询时HGETALL item_sim:{item_id}即得其 Top-K 相似物品。2.2.2 实时召回基于用户最近N次行为触发多路Item-CFdef item_cf_recall(user_id, user_item_matrix, item_sim_store, recent_clicks, top_n_per_item10, recall_size400): recent_clicks: 用户最近点击的物品ID列表按时间倒序取前10个 item_sim_store: Redis client 或本地dict支持 item_sim_store[item_i] - [(item_j, sim), ...] candidate_items {} for item_i in recent_clicks[:10]: # 仅用最近10次点击 try: sim_items item_sim_store.get(str(item_i), []) for item_j, sim in sim_items[:top_n_per_item]: if user_item_matrix[user_id, item_j] 0: # 未交互过 # 加权相似度 × 时间衰减越近的点击权重越高 time_weight 0.9 ** (recent_clicks.index(item_i)) # 简化版衰减 candidate_items[item_j] candidate_items.get(item_j, 0) sim * time_weight except: continue # 按加权得分排序取Top-recall_size sorted_candidates sorted(candidate_items.items(), keylambda x: x[1], reverseTrue) return [item_id for item_id, _ in sorted_candidates[:recall_size]] # 示例用户刚点了“云南曼松古树”立刻召回其相似生豆 recalls item_cf_recall( user_id12345, user_item_matrixuser_item_matrix, item_sim_storeredis_client, # 或本地字典 recent_clicks[56789, 12345, 98765], # 最近三次点击ID recall_size350 )关键参数设计依据recent_clicks[:10]行为序列过长会引入无关兴趣如用户上午看咖啡下午看健身实验表明取最近 5~15 次效果最优top_n_per_item10每个种子物品只扩展 10 个最相似项避免长尾噪声。某咖啡电商实测设为 5 时召回多样性下降 12%设为 20 则 CTR 下降 0.8%时间衰减0.9 ** index简单有效。更严谨可用exp(-λ * t)其中 t 是时间差小时λ 根据业务节奏调优如新闻 λ0.5咖啡豆 λ0.05。3. 向量召回用Embedding把“埃塞俄比亚耶加雪菲”和“花香、柑橘、干净”映射到同一语义空间当物品具备丰富文本、图像或结构化属性如咖啡豆的产地、海拔、处理法、杯测风味时协同过滤因忽略内容信息而受限。向量召回Vector-based Retrieval通过深度模型学习物品和用户的低维稠密向量Embedding在向量空间中用近邻搜索ANN实现语义级匹配。它不依赖用户行为共现天然支持冷启动且能捕捉“风味相似但产地不同”的跨域关联如“肯尼亚AA”和“哥伦比亚蕙兰”虽无共同用户但 Embedding 距离很近。3.1 物品Embedding生成用双塔模型学习咖啡豆的语义向量双塔模型Two-Tower Model是工业界向量召回的标配架构左侧塔编码用户行为序列右侧塔编码物品特征目标是让正样本用户点击的物品的用户向量与物品向量内积大负样本随机采样物品内积小。但在召回阶段我们只用右侧塔——即对所有物品离线计算其 Embedding并建立向量索引。3.1.1 物品侧塔设计融合多源特征的DNN以咖啡豆为例物品特征包括类别特征origin埃塞俄比亚、process_method水洗、roast_level中浅焙数值特征altitude_m2000、cup_score88.5文本特征flavor_notes“茉莉花、佛手柑、蜂蜜”经BERT提取句向量。import tensorflow as tf from tensorflow.keras.layers import Input, Dense, Embedding, Concatenate, Dropout, LayerNormalization def build_item_tower(vocab_sizes, text_dim768, embedding_dim128): # 类别特征嵌入 origin_input Input(shape(1,), nameorigin) process_input Input(shape(1,), nameprocess_method) roast_input Input(shape(1,), nameroast_level) origin_emb Embedding(vocab_sizes[origin], 16)(origin_input) process_emb Embedding(vocab_sizes[process], 8)(process_input) roast_emb Embedding(vocab_sizes[roast], 4)(roast_input) # 数值特征归一化 altitude_input Input(shape(1,), namealtitude_m) cup_score_input Input(shape(1,), namecup_score) norm_alt tf.keras.layers.LayerNormalization()(altitude_input) norm_score tf.keras.layers.LayerNormalization()(cup_score_input) # 文本特征预提取的BERT向量 text_input Input(shape(text_dim,), nameflavor_bert) # 拼接所有特征 concat Concatenate()([ tf.squeeze(origin_emb, axis1), tf.squeeze(process_emb, axis1), tf.squeeze(roast_emb, axis1), norm_alt, norm_score, text_input ]) # DNN塔 x Dense(256, activationrelu)(concat) x Dropout(0.2)(x) x Dense(128, activationrelu)(x) x LayerNormalization()(x) item_embedding Dense(embedding_dim, activationNone, nameitem_embedding)(x) return tf.keras.Model( inputs[origin_input, process_input, roast_input, altitude_input, cup_score_input, text_input], outputsitem_embedding ) # 编译模型训练用 item_tower build_item_tower(vocab_sizes{origin: 200, process: 10, roast: 5}) # 注意召回时只用此模型的 inference不参与梯度更新模型输出维度embedding_dim128是平衡精度与性能的关键。实测表明64 维索引体积小但风味区分度不足“蓝莓”和“黑醋栗”向量距离过近256 维区分度好但 FAISS 索引内存占用翻倍QPS 下降 35%128 维是咖啡类目最佳点在 100 万物品库上P99 延迟 15ms且“花香”类豆子召回准确率比 64 维高 11.2%。3.1.2 向量索引构建用FAISS实现亿级物品毫秒检索FAISS 是 Facebook 开源的高效 ANN 库支持 GPU 加速。对百万级物品用IndexFlatIP内积索引足够超千万则需IndexIVFPQ倒排文件乘积量化压缩内存。import faiss import numpy as np # 假设 items_embeddings 是 (N, 128) 的numpy数组N5e6 # 归一化向量转为余弦相似度等价于内积 normalized_embs items_embeddings / np.linalg.norm(items_embeddings, axis1, keepdimsTrue) # 构建 IVF-PQ 索引nlist10000聚类中心数M16子空间数nbits8 index faiss.IndexIVFPQ( faiss.IndexFlatIP(128), # 量化器 128, # 向量维度 10000, # nlist 16, # M 8 # nbits ) index.train(normalized_embs) # 训练聚类 index.add(normalized_embs) # 添加向量 # 保存索引供线上服务加载 faiss.write_index(index, coffee_item_index.faiss) # 线上召回给定用户Embedding返回Top-K相似物品ID def vector_recall(user_embedding, index, item_ids, k300): # 归一化用户向量 user_norm user_embedding / np.linalg.norm(user_embedding) # 搜索 scores, indices index.search(np.array([user_norm]), k) # 返回物品ID列表scores是内积即余弦相似度 return [item_ids[i] for i in indices[0]] # 示例用户Embedding由其最近点击豆子的平均向量生成 user_vec np.mean([items_embeddings[56789], items_embeddings[12345]], axis0) recalls vector_recall(user_vec, index, all_item_ids, k300)提示FAISS 的IndexIVFPQ在 1000 万向量、128 维时索引内存约 1.2GB单次查询 P998msCPU Intel Xeon Gold 6248R。若要求更低延迟可将索引切片部署到多台机器用一致性哈希路由请求。3.2 用户Embedding生成行为序列建模比静态平均更懂“你此刻想要什么”用户向量不能简单取其历史物品向量的平均——这会模糊兴趣漂移如用户从喝意式浓缩转向手冲单品。应建模行为序列捕捉动态意图。3.2.1 使用GRU对点击序列编码def build_user_tower(embedding_dim128, max_seq_len50): # 输入物品ID序列长度50 seq_input Input(shape(max_seq_len,), nameitem_seq) # 物品ID嵌入共享物品塔的Embedding层权重 item_embedding_layer Embedding( input_dimlen(all_item_ids), output_dimembedding_dim, weights[items_embeddings], # 冻结复用物品塔 trainableFalse ) seq_emb item_embedding_layer(seq_input) # GRU编码序列 gru_out tf.keras.layers.GRU(128, return_sequencesFalse)(seq_emb) # 加入注意力机制突出近期行为 attention tf.keras.layers.Dense(1, activationtanh)(gru_out) attention tf.keras.layers.Softmax(axis1)(attention) user_embedding tf.reduce_sum(gru_out * attention, axis1) return tf.keras.Model(inputsseq_input, outputsuser_embedding) user_tower build_user_tower() # 线上用户最近50次点击ID → 用户向量 → FAISS搜索实测对比静态平均对“刚买完曼松又搜‘果酸明亮’”的用户召回大量曼松但漏掉“肯尼亚Kiambu”GRUAttention能识别“果酸”是新意图将肯尼亚、卢旺达等高酸豆召回位置提前 23 位点击率提升 18.7%。4. 混合召回用加权融合与分层兜底解决“单路召回覆盖不全”的顽疾单一召回策略总有盲区User-CF 对新用户失效Item-CF 对长尾物品覆盖弱向量召回受Embedding质量制约。工业系统必然采用多路混合Multi-Source Fusion核心是不简单拼接而按场景加权并设置兜底策略。4.1 三路召回结果融合按业务目标动态调整权重以咖啡电商为例定义三路召回cf_userUser-CF 召回 200 个cf_itemItem-CF 召回 200 个vector向量召回 300 个。直接取并集700个会导致热门物品重复出现如“曼松”在三路都出现挤占长尾多样性。正确做法是统一打分、去重、重排序def fuse_recalls(cf_user_list, cf_item_list, vector_list, cf_user_weight0.4, cf_item_weight0.3, vector_weight0.3, diversity_penalty0.1): cf_*_list: [(item_id, score), ...]score已归一化到[0,1] diversity_penalty: 对重复物品降权 from collections import defaultdict item_score defaultdict(float) item_source defaultdict(list) # 记录每个物品来自哪些路 # 合并三路加权累加 for item_id, score in cf_user_list: item_score[item_id] score * cf_user_weight item_source[item_id].append(cf_user) for item_id, score in cf_item_list: item_score[item_id] score * cf_item_weight item_source[item_id].append(cf_item) for item_id, score in vector_list: item_score[item_id] score * vector_weight item_source[item_id].append(vector) # 多源惩罚被多路同时召回的物品降低其分数鼓励多样性 for item_id, sources in item_source.items(): if len(sources) 1: item_score[item_id] * (1 - diversity_penalty * (len(sources) - 1)) # 按最终分数排序 sorted_items sorted(item_score.items(), keylambda x: x[1], reverseTrue) return [item_id for item_id, _ in sorted_items[:500]] # 权重调优依据某周A/B实验 # cf_user_weight0.4User-CF在老用户上CTR最高但新用户为0故权重不宜超0.5 # cf_item_weight0.3Item-CF对“相似豆子”召回稳定但易陷入局部只推同产地 # vector_weight0.3向量召回提升长尾和冷启但首屏曝光率略低用户不熟悉语义4.2 分层兜底策略确保任何用户都有基础召回混合召回仍可能失败如新用户无行为、向量索引异常。必须设计硬性兜底层级触发条件召回策略规模说明L1 主召回正常情况三路融合500默认路径L2 热门兜底L1 返回100个全站24h点击Top1000200保证有货可推L3 类目兜底L2仍50个用户所在城市热销类目Top5050如“上海用户→挂耳咖啡Top50”L4 全局兜底所有上层失败全站GMV Top1000100绝对保底永不为空def hybrid_recall(user_id, user_behavior, **kwargs): # 尝试主召回 recalls fuse_recalls(*get_three_paths(user_id, user_behavior)) if len(recalls) 500: return recalls[:500] # L2热门兜底 if len(recalls) 100: hot_items get_hot_items(last_hours24, limit200) recalls list(set(recalls hot_items))[:500] # L3类目兜底需用户城市信息 if len(recalls) 50 and user_city : get_user_city(user_id): city_top get_city_category_top(user_city, categorycoffee, limit50) recalls list(set(recalls city_top))[:500] # L4全局兜底 if len(recalls) 0: recalls get_global_gmv_top(limit100) return recalls[:500] # 关键所有兜底策略必须预计算并缓存确保单次调用5ms注意兜底不是“凑数”而是业务安全阀。某次向量索引服务宕机L2热门兜底使整体 CTR 仅下降 0.3%而未设兜底的灰度组 CTR 断崖式下跌 62%。5. 召回效果验证不用AUC用“覆盖率”“新颖性”“业务指标”三把尺子量准召回层不直接优化点击率那是排序的事其核心价值在于扩大优质候选池的边界。因此评估不能只看离线AUC或HitRate必须结合线上业务指标与可解释性诊断。5.1 离线评估三维度覆盖、新颖、分布5.1.1 覆盖率Coverage你的召回是否触达了长尾定义被至少一个用户召回的物品数 / 全站物品总数。问题单纯提高覆盖率可能引入垃圾物品。解法分桶统计重点关注“过去30天无曝光物品”的召回占比。# 计算长尾覆盖率 def calculate_tail_coverage(recall_results, all_items_set, cold_items_set): cold_items_set: 过去30天曝光量0的物品ID集合 recalled_cold set() for user_recalls in recall_results.values(): # {user_id: [item_id, ...]} recalled_cold.update(set(user_recalls) cold_items_set) return len(recalled_cold) / len(cold_items_set) if cold_items_set else 0 # 某次升级Item-CF后长尾覆盖率从 12.3% → 28.7%但全站覆盖率仅0.5% # 说明改进精准命中了沉默长尾而非泛泛拉新5.1.2 新颖性Novelty用户是否看到“没看过但可能喜欢”的东西用流行度倒数加权物品越冷门新颖性得分越高。公式novelty(u) -log2(popularity(item))其中popularity(item) 曝光次数 / 总曝光。# 计算批次召回的新颖性均值 def calculate_novelty(recall_results, item_popularity): item_popularity: {item_id: float (0~1)} all_novelties [] for user_recalls in recall_results.values(): for item_id in user_recalls: p item_popularity.get(item_id, 1e-6) # 防止log0 novelty_score -np.log2(p) all_novelties.append(novelty_score) return np.mean(all_novelties) if all_novelties else 0 # 基线纯热门兜底新颖性1.2混合召回后4.8向量召回单独6.1 # 但向量召回新颖性过高6.1导致首屏跳出率5%说明太激进5.1.3 类目分布均衡性避免“全是曼松”的灾难用 Jensen-Shannon 散度JSD衡量召回类目分布与全站类目分布的差异from scipy.spatial.distance import jensenshannon def calculate_category_balance(recall_results, item_to_category, global_category_dist): global_category_dist: 全站类目分布如 {espresso:0.4, pour_over:0.3, ...} # 统计召回结果的类目分布 recall_cat_count defaultdict(int) total 0 for user_recalls in recall_results.values(): for item_id in user_recalls: cat item_to_category.get(item_id, other) recall_cat_count[cat] 1 total 1 # 归一化为分布 recall_dist {k: v/total for k, v in recall_cat_count.items()} # 补全global中存在但recall中缺失的类目 for cat in global_category_dist: if cat not in recall_dist: recall_dist[cat] 1e-6 # 计算JSD p np.array([recall_dist.get(cat, 1e-6) for cat in global_category_dist.keys()]) q np.array([global_category_dist[cat] for cat in global_category_dist.keys()]) return jensenshannon(p, q) # JSD越小越好0完全一致。基线JSD0.32优化后0.18说明类目更均衡5.2 线上AB实验盯紧“召回后排序模型的输入质量”最终检验标准是相同排序模型在新召回数据上线上核心指标是否提升关键观测指标非CTRRecall500用户最终点击的物品是否在召回的前500名内衡量召回查全率Exposure Diversity单次请求召回结果中不同类目/产地/风味的物品数。衡量探索能力Sorting Input Quality排序模型对召回集的打分方差。方差过小如全在0.4~0.5说明召回集区分度低排序模型无用武之地。-- 示例计算Recall500的SQL需日志表包含recall_list和click_item_id SELECT COUNT(*) FILTER (WHERE click_item_id ANY(recall_list[:500]))::FLOAT / COUNT(*) AS recall_at_500 FROM recommendation_log WHERE experiment_group new_recall_v2;某次向量召回上线后Recall500从 72.3% → 85.6%13.3pp证明长尾覆盖有效Exposure Diversity从 3.2 → 5.778%用户一次看到更多元的豆子Sorting Input Quality打分方差从 0.012 → 0.041排序模型终于能发挥区分作用。召回不是终点而是让排序模型“有米下锅”的起点。当你发现排序模型训练损失不再下降第一反应不该是换模型而是打开召回日志看看那500个候选里有没有真正值得被排序的“好豆子”。本文还有配套的精品资源点击获取