本地AI知识库问答实现 (二)配置模型和知识库

目录

配置大模型

  • Dify 启动后,默认为空的,从 v1.0.0 开始所有模型库(包括 Ollama )都要通过 插件 的形式安装
  • 插件 -> 探索 Marketplace -> 模型 中找到 Ollama ,点击 安装
本地AI知识库问答实现 (二)配置模型和知识库
  • 等待安装完成后,刷新页面,点击管理员头像,选择 配置 ,在 模型供应商 找到 Ollama 并点击 添加模型
本地AI知识库问答实现 (二)配置模型和知识库
  • 填写模型信息,注意 Ollama 的地址
本地AI知识库问答实现 (二)配置模型和知识库
  • 模型名称填写 Ollama 上的对应的 NAME ,可通过 ollama ls 查看已下载的模型,名称中的 :latest 标识不需要填写
NAME                                     ID              SIZE      MODIFIED
gemma3:27b                               30ddded7fba6    17 GB     11 days ago
qwq:latest                               38ee5094e51e    19 GB     2 weeks ago
qwen2.5:32b                              9f13ba1299af    19 GB     4 weeks ago
deepseek-r1:70b                          0c1615a8ca32    42 GB     4 weeks ago
qwen2.5:14b                              7cdf5a0187d5    9.0 GB    4 weeks ago
qwen2.5:latest                           845dbda0ea48    4.7 GB    4 weeks ago
deepseek-r1:32b                          38056bbcbb2d    19 GB     4 weeks ago
nomic-embed-text:latest                  0a109f422b47    274 MB    4 weeks ago
bge-m3:latest                            790764642607    1.2 GB    4 weeks ago
deepseek-r1:1.5b                         a42b25d8c10a    1.1 GB    5 weeks ago
deepseek-r1:7b                           0a8c26691023    4.7 GB    5 weeks ago
  • 依次添加以下模型
  1. qwq
  2. bge-m3(模型类型选择 Text Embedding
  3. qwen:14b
  • 添加完成后如下显示
本地AI知识库问答实现 (二)配置模型和知识库
  • 确认基础模型都添加完成后,刷新页面,再回到系统配置的 模型供应商 页面;
  • 系统模型设置 中配置系统默认模型
本地AI知识库问答实现 (二)配置模型和知识库
  • 在 系统模型设置 中配置系统默认模型

配置知识库

  • 大模型准备完成后,就可以开始准备知识库了
  • 知识库可以有很多种类型,可以是技术文档,公司制度等;Dify 目前支持多种格式的文件做为知识库来源,下面以 Word 文件为例;
  • 打开 Dify 知识库 版块,点击 创建知识库 ,选择 导入已有文本
本地AI知识库问答实现 (二)配置模型和知识库
  • 选择已准备好的文件,点击 下一步 进入 文本分段与清洗
  • 分段设置 有两种类型
  1. 通用 :默认的分段类型,适用于大多数场景
  2. 父子分段 :适用于结构分明的文档,像制度文件等
  • 索引方式 一般选择 高质量
  • Embedding 模型 选择之前配置好的 bge-m3 ,如果此处没有可选择的模型,说明之前模型配置有误,需重新配置;
  • 检索设置 一般选择 混合检索
  • 设置完成后,点击 保存并处理 ,系统开始将文档进行分段和向量化;
  • 知识库内的文档准备完成后,可对文档进行 召回测试 ,测试将显示文本(问题)召回的文档
本地AI知识库问答实现 (二)配置模型和知识库
  • 可以根据召回效果来对设置进行微调,找到一个适合的值;

接下篇–三、助手搭建和使用

转载作品,原作者:栽培者,文章来源:https://www.cnblogs.com/ronggang/p/18791800

(0)
打赏 微信赞赏 微信赞赏 支付宝赞赏 支付宝赞赏
上一篇 2025-04-17 17:45
下一篇 2025-04-17 18:26

相关推荐

发表回复

登录后才能评论
扫码了解
扫码了解
反馈建议
分享本页
返回顶部