Skip to content

知识库 15 维度覆盖度检测速查:一条命令查出「应聘 Agent 工程师」岗位能力维度的知识覆盖情况,用于体检与补全验收。脚本已入库 scripts/rag-gap.py,复用 RAG 索引检索。

用法

bat
:: 知识库根目录下,用专用环境运行(约 45-60 秒)
D:\auto_ai_Obsidian\.rag-venv\Scripts\python.exe scripts\rag-gap.py
  • 前置条件:RAG 索引已构建(rag --buildscripts/rag_build_index.py),否则读不到 outputs/rag/
  • 输出:15 个维度 × top1 命中文件 + 相关度分数

15 个维度

维度检测查询词要点
Agent 核心概念智能体是什么/核心组成/五步循环
多智能体架构协作模式/编排
工具调用 / Function Calling工具调用/function calling
记忆系统长期/短期记忆/记忆管理
RAG 检索增强RAG 流程
MCP 协议模型上下文协议
提示词工程prompt 怎么写
主流 Agent 框架LangChain/CrewAI/AutoGen 对比选型
向量数据库Milvus/Chroma/存储
Agent 评估评测LLM-as-judge
模型微调fine-tuning/LoRA/RLVR/微调评估
工作流与任务规划工作流/任务规划/拆解
生产部署部署/生产环境/成本/可靠性
多模态 Agent图像/视频/Agent
Agent 安全提示注入/越狱

分数解读

相关度含义处理
≥ 0.9覆盖扎实面试可直接答
0.8 ~ 0.9过线但偏薄可考虑深挖补全
< 0.8缺口/research 补该维度

注意事项

  • 先重建索引再跑:新增文章后未重建,检测结果不含新内容(检测读取 outputs/rag/ 快照)
  • 查询词影响命中:2026-09-15 修正过「模型微调」查询词——旧词 模型微调 fine-tuning LoRA 会误命中 RAG 文章的「RAG vs 微调」对照表(0.75 假缺口);修正为含 RLVR/微调评估/回归 后正确命中微调底稿(1.32)。改 DIMS 查询词后重跑即可
  • research 底稿命中:检测会命中 research/(已降权 0.85),命中底稿说明该主题 wiki 可再编译
  • 检测脚本不修改任何文件,只读索引,可随时重跑

历次基线(2026-09-15 收尾)

  • 补全前(第 31 轮):8/15 过线,最弱安全 0.38
  • 第 44 轮后:15/15 过线
  • 第 56 轮收尾:15/15 全过线且全部正确命中(最低工作流 0.80,最高模型微调 1.32)