Appearance
一句话总结:向量库运维核心三件事——备份恢复(快照/增量段导出)、一致性对账(向量库 vs 元数据库每日核对 + 幂等 Upsert)、热温冷分层(热层在线/温层对象存储/冷层归档),外加定期碎片整理。
备份恢复(各库姿势)
| 库 | 方式 |
|---|---|
| Milvus | collection 快照 / milvus-backup 增量导出段到 S3(只导变更段)+ 备份 etcd+MinIO |
| Qdrant | 原生 snapshot |
| Chroma | 直接复制持久化目录 |
| pgvector | SQL 备份 |
| FAISS | 无内置——手动 faiss.write_index() |
一致性检查(日常作业,面试默写)
- 向量库 chunk 数 == metadata DB chunk 数
- 每 chunk 的 content_hash 在 metadata DB 有对应 row
- 每 doc 的 chunk_count == metadata DB 记录数
- 软删除超 90 天的 chunk 硬清理
- 不一致 → alert + 人工复盘;周期性全量重建兜底
关系库-向量库同步(双写一致性)
- 写入顺序:先关系库,再向量库
need_resync标记 + 定时对账任务- Upsert 而非 Insert(幂等)
- 定期比对两库记录数
热温冷分层
- 热层:实时查询(RAM/SSD)
- 温层:MinIO 对象存储(30-365 天),查询未命中异步拉取(TTL=10min 临时分片)
- 冷层:Glacier 归档(365 天+),仅合规审计不服务在线
碎片与维护
- 频繁删除 → 索引碎片 → 查询退化:定期 VACUUM + 索引重建
- 归档堆积拖慢 checkpoint → 影响写入吞吐
- 核心运维动作:索引生命周期(构建/合并/删除/重建)自动化
面试要点
- 能说各库备份方式(Milvus 快照/Qdrant snapshot/FAISS 手动)
- 能默写一致性检查四项
- 能讲双写顺序(先关系库再向量库)+ Upsert 幂等
- 能画热温冷分层与碎片维护
相关概念
- [AI-Agent-向量数据库选型与索引调优](/学习笔记/AI技术/AI Agent/AI-Agent-向量数据库选型与索引调优) — 选型
- [AI-Agent-RAG缓存与索引运维](/学习笔记/AI技术/AI Agent/AI-Agent-RAG缓存与索引运维) — 增量索引衔接
- [AI-Agent-向量数据库分片与成本优化](/学习笔记/AI技术/AI Agent/AI-Agent-向量数据库分片与成本优化) — 扩容
- [AI-Agent-生产部署](/学习笔记/AI技术/AI Agent/AI-Agent-生产部署) — 线上服务