知识库概述
知识库是Dify的核心功能之一，用于存储和管理文档数据，支持RAG（检索增强生成）应用。知识库将文档转换为向量表示，支持语义搜索和相似度检索。
知识库的作用
# 知识库的作用
knowledge_base_purpose = {
"文档存储": "集中管理企业文档和知识",
"语义检索": "基于语义相似度检索相关内容",
"RAG应用": "为LLM提供上下文信息",
"知识更新": "支持文档更新和增量索引"
}
知识库基础概念
1. 知识库结构
# 知识库结构
知识库结构:
知识库:
- 名称和描述
- 向量数据库配置
- 索引配置
文档:
- 文档元数据
- 文档内容
- 文档分块
索引:
- 向量索引
- 文本索引
- 元数据索引
2. 文档处理流程
# 文档处理流程
处理流程:
1: "文档上传"
2: "文档解析（PDF、Word等）"
3: "文本提取"
4: "文档分块"
5: "向量化（Embedding）"
6: "索引构建"
7: "存储到向量数据库"
创建知识库
1. 基础创建
# 创建知识库步骤
创建步骤:
1: "进入知识库管理页面"
2: "点击创建知识库"
3: "填写基本信息:
- 知识库名称
- 描述
- 图标（可选）"
4: "选择向量数据库:
- Qdrant（推荐）
- Weaviate
- Milvus"
5: "配置索引参数:
- 分块大小
- 分块重叠
- 向量模型"
6: "保存创建"
2. 高级配置
# 高级配置选项
高级配置:
分块策略:
- 固定大小分块: "按字符数分块"
- 语义分块: "按语义单元分块"
- 自定义分块: "使用自定义规则"
向量模型:
- OpenAI text-embedding-ada-002
- OpenAI text-embedding-3-small
- 本地模型（如BGE、M3E）
索引参数:
- 相似度算法: "余弦相似度、点积等"
- 索引类型: "HNSW、IVF等"
文档上传
1. 支持的文件类型
# 支持的文件类型
文件类型:
文本文件:
- TXT
- Markdown
- CSV
文档文件:
- PDF
- Word (.docx)
- PowerPoint (.pptx)
- Excel (.xlsx)
网页:
- URL爬取
- HTML文件
代码:
- Python (.py)
- JavaScript (.js)
- 其他代码文件
2. 上传方式
# 上传方式
上传方式:
单文件上传:
- 点击上传按钮
- 选择文件
- 等待处理完成
批量上传:
- 选择多个文件
- 批量上传
- 查看上传进度
API上传:
- 使用API接口上传
- 支持编程方式上传
3. 文档处理配置
# 文档处理配置
处理配置:
解析选项:
- 提取文本
- 保留格式
- 提取表格
- 提取图片（OCR）
分块配置:
- 分块大小: "500-1000字符"
- 重叠大小: "50-100字符"
- 分块策略: "固定大小或语义分块"
元数据提取:
- 文档标题
- 创建时间
- 作者信息
- 自定义元数据
文档分块
1. 分块策略
# 分块策略
分块策略:
固定大小分块:
优点: "简单快速"
缺点: "可能截断语义单元"
适用: "结构化文档"
语义分块:
优点: "保持语义完整性"
缺点: "处理较慢"
适用: "自然语言文档"
自定义分块:
优点: "灵活可控"
缺点: "需要配置规则"
适用: "特殊格式文档"
2. 分块参数
# 分块参数配置
分块参数:
块大小 (chunk_size):
- 推荐: 500-1000字符
- 太小: "上下文不足"
- 太大: "检索精度下降"
重叠大小 (overlap):
- 推荐: 50-100字符
- 作用: "保持上下文连续性"
分块方法:
- 按段落分块
- 按句子分块
- 按固定大小分块
向量化与索引
1. 向量化过程
# 向量化过程
向量化:
步骤:
1: "文本分块"
2: "调用Embedding模型"
3: "生成向量表示"
4: "存储向量"
Embedding模型:
- OpenAI: "text-embedding-ada-002"
- 本地模型: "BGE、M3E等"
- 向量维度: "通常768或1536维"
2. 索引构建
# 索引构建
索引类型:
HNSW索引:
- 高性能近似最近邻搜索
- 适合大规模数据
- 内存占用较高
IVF索引:
- 倒排文件索引
- 适合超大规模数据
- 需要训练
索引参数:
- M: "HNSW连接数"
- ef_construction: "构建时搜索范围"
- ef_search: "搜索时范围"
检索配置
1. 检索方式
# 检索方式
检索方式:
语义检索:
- 基于向量相似度
- 理解语义含义
- 推荐使用
关键词检索:
- 基于关键词匹配
- 快速但精度较低
- 适合精确匹配
混合检索:
- 结合语义和关键词
- 平衡精度和速度
- 最佳实践
2. 检索参数
# 检索参数
检索参数:
Top K:
- 返回最相关的K个结果
- 推荐: 3-5个
- 可根据需求调整
相似度阈值:
- 最低相似度要求
- 过滤低质量结果
- 推荐: 0.7-0.8
重排序:
- 对检索结果重新排序
- 提高相关性
- 可选功能
知识库管理
1. 文档管理
# 文档管理功能
文档管理:
查看文档:
- 文档列表
- 文档详情
- 文档预览
更新文档:
- 重新上传
- 增量更新
- 自动同步
删除文档:
- 单个删除
- 批量删除
- 确认机制
2. 索引管理
# 索引管理
索引操作:
重建索引:
- 重新处理所有文档
- 更新向量索引
- 耗时较长
增量索引:
- 只处理新文档
- 快速更新
- 推荐方式
索引状态:
- 查看索引进度
- 检查索引健康
- 错误处理
3. 知识库设置
# 知识库设置
设置选项:
基本信息:
- 修改名称
- 更新描述
- 更换图标
向量配置:
- 更换Embedding模型
- 调整分块参数
- 修改索引参数
权限设置:
- 访问权限
- 编辑权限
- 共享设置
检索优化
1. 提高检索精度
# 检索精度优化
优化方法:
分块优化:
- 调整分块大小
- 优化重叠大小
- 使用语义分块
向量模型:
- 选择高质量模型
- 微调模型（可选）
- 模型对比测试
检索策略:
- 使用混合检索
- 调整Top K值
- 设置相似度阈值
2. 提高检索速度
# 检索速度优化
优化方法:
索引优化:
- 优化索引参数
- 使用合适的索引类型
- 定期重建索引
缓存机制:
- 缓存常见查询
- 减少重复计算
- 使用Redis缓存
并行处理:
- 并行检索多个知识库
- 异步处理
- 批量查询
最佳实践
1. 知识库设计
# 知识库设计建议
设计建议:
分类管理:
- 按主题分类
- 按部门分类
- 按文档类型分类
文档质量:
- 确保文档完整性
- 定期更新文档
- 清理过时文档
元数据管理:
- 添加丰富的元数据
- 使用标签分类
- 记录文档来源
2. 文档准备
# 文档准备建议
准备建议:
文档格式:
- 使用标准格式
- 保持结构清晰
- 避免复杂格式
内容质量:
- 确保内容准确
- 使用清晰的语言
- 添加必要的上下文
文档组织:
- 合理的文档结构
- 清晰的标题层级
- 适当的长度
总结
Dify知识库管理的关键要点：
- 基础概念：知识库结构、文档处理流程
- 创建知识库：基础创建、高级配置
- 文档上传：支持类型、上传方式、处理配置
- 文档分块：分块策略、分块参数
- 向量化索引：向量化过程、索引构建
- 检索配置：检索方式、检索参数
- 知识库管理：文档管理、索引管理、设置
- 检索优化：精度优化、速度优化
- 最佳实践：知识库设计、文档准备
掌握知识库管理，可以构建高质量的知识库，为RAG应用提供强大的知识支持。
