AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

前提

请确保你已经安装OllamaDeepSeek模型下载完毕。具体请参考:Windows本地安装教程Deepseek-r1Linux本地部署DeepSeek,ollama+DeepSeek+Open WebUI部署教程

安装AnythingLLM

AnythingLLM 是一款开箱即用的一体化 AI 应用,支持 RAG(检索增强生成)、AI 代理等功能。它无需编写代码或处理复杂的基础设施问题,适合快速搭建私有知识库智能问答系统

官网下载安装包 https://anythingllm.com/desktop

Github下载安装包 https://github.com/Mintplex-Labs/anything-llm/releases

AnythingLLM 提供了 Mac、Windows 和 Linux 的安装包,用户可以直接从官网下载并安装。

这里找到当前最新版本:1.4.0 https://github.com/Mintplex-Labs/anything-llm/releases/download/v1.4.0/AnythingLLMDesktop.exe (GitHub直接下载,有可能限速,需要采用Github代理进行下载)

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

安装过程只需要下一步就行了。

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

安装过程大约20min,期间会中间下载一个1.8G的模型文件,如果下载失败不必担心,重新打开安装包重新安装一遍就行。

设置

语言

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

LLM

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

嵌入首选项

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

新建工作区

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

工作区设置

点击齿轮

设置LLM模型

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

设置人工智能体性格

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

这是我的示例:你是一个协助我的工作的机器人,我将给你我工作相关的文档资料,我需要你根据这些资料回复我的问题,协助我的工作,成为我的工作助手。

确认保存

当设置完以后,你需要update才能生效

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

代理设置

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

私有化训练

准备训练数据

什么形式都行,你可以看官方文档,我这里是excel

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

导入数据

点击上传

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

拖入工作区

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

开始训练

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

成功标志如下图所示,右侧出现数据

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

使用训练数据

点击,使其pin进工作区

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

验收成果

打开对话开始对话

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

现在开始提问你训练文档中的数据

AnythingLLM + Ollama 实现私有知识库,私有化训练DeepSeek

现在可以看到它已经可以根据我们的训练数据回答我们相应的问题了。

ps:你可以注意到它回复的还是有缺陷,一方面是我下载的模型是最小的,一方面是训练数据过少。实际体现只用作知识库我觉得是绰绰有余的。

官方接口调用文档

这个软件已经集成了API文档,如果你想接口形式调用或者linux安装都是完全可以支持的。总之文档详细,定制化程度高。
https://docs.anythingllm.com/features/api

转载作品,原作者:诗酒当趁年华,文章来源:https://blog.csdn.net/weixin_44379605/article/details/145522490

(0)
打赏 微信赞赏 微信赞赏 支付宝赞赏 支付宝赞赏
上一篇 2025-02-10 10:37
下一篇 2025-02-11 11:52

相关推荐

发表回复

登录后才能评论
扫码了解
扫码了解
反馈建议
分享本页
返回顶部