「Ollama+DeepSeek+AnythingLLM」构建个人知识库

因为我比较注重个人隐私和数据隐私的安全问题所以构建个人知识库我会通过对话大模型本文用DeepSeek和Embedding模型的本地部署解决隐私问题。整个过程需要准备本地部署可以对话的DeepSeek模型需要Ollama本地部署可以把文本转换成数字向量的嵌入模型Embedding大模型构建个人知识库需要知识库管理软件AnythingLLM.整体流程下载Ollama通过Ollama将DeepSeek模型和Embedding模型下载到本地运行下载AnythingLLM知识库管理软件将模型部署到其中在AnythingLLM中构建个人知识库实现基于个人知识库的对话问答等.具体过程如下Windows环境一、下载OllamaOllama是一个用于本地运行和管理大语言模型LLM的工具。官网下载地址Ollama下载界面如下二、配置环境变量1、OLLAMA_HOST127.0.0.0:11434这是Ollama的默认设置保持不变即可这样Ollama默认只在本地监听从而保证了个人知识库的私密。2、OLLAMA_MODELS默认模型下载到C盘如果希望下载到其他盘可以配置环境变量配置结果如下注意配置之后保险起见一定要重启电脑三、通过ollama下载DeepSeek模型和Embedding模型打开刚才Ollama官网点击Models选择deepseek-r1:1.5b的模型复制界面中的命令按WinR输入cmd然后回车在出现的终端界面中输入刚才复制的这行命令ollama run deepseek-r1:1.5b第一次下载需要点时间耐心等几分钟即可。下载成功的界面如下补充如果想要模型具有联网搜索能力可以下载qwen2.5:7b或者选择Ollama的Models列表中的Tools中的模型。这里以qwen2.5:7b为例在终端输入下面的命令ollama run qwen2.5:7b下载完成结果如下接着下载Embedding模型还是Ollama官网界面点击Models选择Embedding标签然后选择bge-m3模型此模型是用来处理数据的如下图所示复制下面的命令到终端进行下载即可ollama pull bge-m3下载完成界面如下四、下载知识库管理软件AnythingLLMAnythingLLM官网地址https://anythingllm.com选择电脑对应的版本下载即可注意官网虽然可以直接打开但是下载就需要科学上网了不过也可以配置Docker的国内加速镜像下载看自己适用哪种方式就行。下载完成后桌面出现这个快捷方式就是安装成功了双击应用即可进入以下界面五、在AnythingLLM中配置本地模型第一步选择本地对话模型服务提供商这里选择Ollama即可然后在下面的Ollama Models的下拉菜单中选择刚才下载对话模型deepseek-r1:1.5b其他选项保持默认点击下一步整体是这样的界面即进入了工作区“我的工作区”可以理解为你其中的一个知识库。点击齿轮图标就可以编辑“我的工作区”可以根据自己的实际需要重命名工作区我改成深度学习EEG分类知识库点击蓝色按钮Update Workspace即可修改后就可以看到新的名字了第二步配置Embedding模型点击主界面左下角的扳手图标进入设置选择第一个选项人工智能提供商然后选择下拉列表中的嵌入器(Embedder)进行Embedding模型的配置点击嵌入引擎提供商从下拉列表中选择Ollama即可接着在Ollama Embedding Model的下拉菜单中选择之前下载的bge-m3:latest模型点击蓝色按钮保存更改即可第三步将知识文档上传到工作区并对其提问返回主界面看到工作区下面有New Tread选项每一个Tread其实就是一个对话窗口在每一个对话窗口中我们都可以把知识资料上传进工作区。在对话框中点击 上传知识文档我选择用Codex辅助完成的一篇EEG分类综述论文文档然后在输入框中提问与这份知识文档相关的问题比如我问“给我总结一下基于深度学习的EEG分类方法有哪些”知识库就会自动为这个文档拆分并解析成向量数据存到数据库中然后就会进行相应的回答在回答的结尾我们可以看到来源两个字旁边有一个资料图案的图标点击它就会在右边显示刚才上传的文档到这里一个个人知识库就搭建成功了六、补充一个重要设置回到工作区点击旁边的齿轮图标进入设置然后点击聊天设置在聊天模式中可以看到有三种模式代理、聊天、查询。这三种聊天模式的区别如下模式知识来源能否调用工具如联网、执行代码适合场景聊天模式你的文档模型的通用知识❌ 不能需要灵活探讨、头脑风暴希望 AI 能结合背景知识补充说明查询模式仅限你的文档❌ 不能需要严格的、有据可查的精确答案防止 AI 自由发挥代理模式你的文档工具获取的外部信息✅ 可以能联网搜索、执行代码、读写文件等需要完成多步骤的复杂任务比如自动搜索最新论文、分析数据并生成图表总结①聊天模式最适合用来理解和讨论②查询模式最适合用来查证、获取精确答案③代理模式是让 AI 从“顾问”变成帮你动手干活的“助手”。七、个人数据库搭建总结Ollama 是负责实际运行对话模型的“发动机”AnythingLLM 只是负责调度和界面的“外壳”。它俩是独立的程序AnythingLLM 需要连接到一个正在运行的 Ollama 服务才能工作。具体原因独立应用AnythingLLM 本身不运行模型它默认通过http://127.0.0.1:11434这个本地端口去呼叫 Ollama。模型托管对话模型如 DeeepSeek、Qwen是下载在 Ollama 里的必须由 Ollama 加载到内存中AnythingLLM 才能用。本地小模型本身知识有限、容易幻觉但通过AnythingLLM的RAG流程文档切分 → embedding 向量化 → 相似度检索 → 拼进上下文模型能基于你上传的资料回答而不是靠训练时的记忆。这相当于用一个小模型 你的私有语料达到接近大模型在特定领域的表现。