现象
MinIO 用量持续涨,知识库界面里的文档数对不上。有一批对象在桶里,Postgres 没有对应有效文档记录——典型是上传成功、向量化失败或中途取消后的残留。生产案例分析里也把「孤儿对象」列为常见问题。
处理
- 列桶内对象与 DB 附件表做差集,确认无引用后再删
- 失败任务修根因(Embedding 超时、格式不支持、worker OOM)再重传
- 生命周期策略:临时前缀定期过期,避免人工忘删
清理脚本要干跑(dry-run)输出清单,人看过再删。知识库文件误删比多占一点盘更痛。
预防
- 监控桶增量与「今日索引失败数」
- 大文件先校验类型和大小再进管道
- 不要在磁盘报警时才第一次想起来对象存储
Dify 自托管把文件和向量都放自己桶时,盘账要和业务文档数一起看,只看 ES 或只看 Postgres 都会漏。
转载请注明:周志洋的博客 » Dify对象存储膨胀:向量化失败留下的孤儿文件


