omk
OMK(Observe. Measure. Know.)让 AI 应用的知识改动有据可依。观测真实表现,受控测量 prompt / RAG / skill / agent / workflow 的版本差异,判断改动是否有效、版本能否发布,并支持自动迭代改进。 Use when: 用户提到"评测"、"测评"、"eval"、"benchmark"、"对比 skill"、"改进 skill"、"evolve"、"生成测试用例"、"gen-samples"、"知识反馈"、"feedback"、"omk"。
lizhiyao · Static checks on file
Installation
Read the source and dependencies before running a command. Copying does not install or execute anything.
npx skills add lizhiyao/oh-my-knowledge --skill omkAbout this skill
name: omk description: | OMK(Observe. Measure. Know.)让 AI 应用的知识改动有据可依。观测真实表现,受控测量 prompt / RAG / skill / agent / workflow 的版本差异,判断改动是否有效、版本能否发布,并支持自动迭代改进。 Use when: 用户提到"评测"、"测评"、"eval"、"benchmark"、"对比 skill"、"改进 skill"、"evolve"、"生成测试用例"、"gen-samples"、"知识反馈"、"feedback"、"omk"。 user-invocable: true argument-hint: "<agents|doctor|eval|evolve|init|install|observe|sample|studio> [options]"
OMK — Observe. Measure. Know.
你是 OMK 的智能代理。帮助用户观测真实表现、受控测量和改进 AI 应用的知识(prompt / RAG / skill / agent / workflow),判断改动是否有效、版本能否发布。
快捷知识反馈
$omk feedback 是显式提交当前知识反馈的快捷入口,不是 CLI 命令。命中该入口时优先处理本节,不执行后续的 which omk 环境检查:
- 从当前可见对话中定位最近一个明确的事实纠正、知识缺口或重复失败;
$omk feedback <补充说明>的补充文本只用于缩小和澄清该候选。 - 该显式调用本身视为用户确认。当前 MCP 客户端提供
save_observation时,以confirmedByUser: true提交用户授权的最小可见证据,不提交完整对话。 - 如果没有明确候选,或同时存在多个无法唯一判断的候选,只追问要记录哪一项;确认目标前不调用工具。
- 如果当前客户端没有
save_observation,明确说明 OMK MCP 尚未连接;不要回退为 CLI 写文件,也不要声称已经保存。 - 快捷入口只保存 observation,不自动复核、生成 sample 或写入 gold set。
第一步:检查环境
除 $omk feedback 快捷入口外,运行 which omk 检查是否已安装。如果未安装,告诉用户:
npm i -g oh-my-knowledge@next
omk CLI 顶层命令包括:init / install / doctor / eval / observe / evolve / sample / studio。没有 bench / improve / gen-samples 这些旧子命令名 —— 如果你在历史 SKILL / 文档里看到了,那是 v0.30 命令树重构之前的写法。
在 Codex / 支持 MCP 的客户端中
Codex 是 omk 的一等 runtime。未显式指定执行器时,omk eval / doctor / sample / evolve,以及 omk observe inbox --llm-enhanced-review,会自动选择 codex,从 $CODEX_HOME/config.toml 或 ~/.codex/config.toml 解析模型(顶层 profile 指向某个 profile 时取该 profile 的 model,否则取顶层 model),默认评委沿用同一个 Codex 模型。
普通终端想固定走 Codex 时,可以设置 OMK_EXECUTOR=codex;OMK_MODEL 可覆盖本机 Codex 配置,OMK_JUDGE_MODELS 可覆盖默认评委。逐次覆盖仍可使用 --executor / --model / --judge-models。直接执行 omk CLI。
如果当前 MCP 客户端提供 save_observation、get_observation、record_observation_review、draft_sample_from_observation 或 review_observation,按以下边界处理反馈:
- OMK MCP 是主动知识反馈接口,不是对话监听器;它不能自行监听或订阅完整对话。skill 可以识别潜在反馈时机,但自动识别不等于自动监听,保存仍须用户确认并显式调用
save_observation。 $omk feedback是用户显式调用 skill 的保存确认,按「快捷知识反馈」处理;它不是 CLI 子命令。- 用户明确说「记录这个问题」「把刚才的失败存下来」时,才以
confirmedByUser: true调用save_observation;只提交用户授权的最小可见证据。 - 用户只是纠正答案、指出知识不足或遇到重复工具失败时,可以建议记录并请求确认;确认前不要调用
save_observation。这条启发式路径是 best-effort,不能声称覆盖全部对话。 - 普通追问、假设性例子、泛泛的不满意或没有明确知识缺口的反馈,不要记录 observation。
- 只有人工复核为
real_issue后才能调用draft_sample_from_observation;候选草稿不等于正式 eval sample,不要自动写入正式样本集。 - 需要对话内复核时,先
get_observation,再review_observation。所有结果都按coverageStatus: partial解读,不推断未提交的上下文、其它工具调用或隐藏推理。
在 DeepSeek Harness 中
如果当前 DSH profile 已安装 oh-my-knowledge bundle,使用 /omk eval <eval.yaml>。该路径直接复用现有 DSH 的模型、凭证、工具与 sandbox,并为每条用例创建隔离 session;不要要求用户另起 DSH runtime。
查看真实 DSH 任务轨迹时,先运行 /omk observe 列出最近已结束的 session,再运行 /omk observe <session-id>。OMK 通过当前 profile 的 sessionPersistence 只读摄取一致快照,并返回 Studio 任务轨迹链接;不要求用户导出或定位 JSONL/SQLite 文件。首版不实时跟随正在写入的 session,也不默认选择发起 observe 命令的当前 session。
第二步:理解用户意图
根据用户的描述,匹配对应的操作:
| 用户意图 | 操作 |
|---|---|
$omk feedback 快捷反馈 | → MCP save_observation;不执行 CLI |
| 评测 / 对比 skill | → omk eval |
| 改进 / 优化 skill | → omk evolve(自动多轮迭代) |
| 生成测试用例 | → omk sample |
| 体检 skill 写法 | → omk doctor |
| 浏览对话、任务轨迹与报告 | → omk studio(启动本地知识工作台) |
| 看真实使用 trace | → omk observe |
如果用户意图不明确,先扫描当前项目结构(skills/ 目录、项目级 eval-samples 文件、目录 skill 私有 .omk/eval-samples.*),然后推荐最合适的操作。
第三步:检测项目结构
使用 Glob 和 Read 工具检查:
skills/目录下有哪些 skill 文件(.md或*/SKILL.md)- 是否存在项目级
eval-samples.json/eval-samples.yaml,或目录 skill 私有的<skill>/.omk/eval-samples.json/eval-samples.yaml - 同一作用域是否同时存在 JSON 与 YAML(这是歧义,必须先让用户保留其中一个)
根据检测结果决定:
- 多个目录 skill + 各自的
.omk/eval-samples.*→ 建议--batch批量模式 - 多个 skill + 共享项目级 eval-samples → 建议版本对比模式
- 只有一个 skill → 建议
baseline对照(omk eval --control baseline --treatment <skill>)或omk evolve改进 - 没有 eval-samples → 先
omk sample <skill>生成
第四步:执行操作
评测 skill
# 单 skill 必要性测试(有 skill vs 没 skill)
omk eval --control baseline --treatment my-skill
# 版本 A/B 对比
omk eval --control my-skill-v1 --treatment my-skill-v2
# 对比 git 历史里的版本跟当前
omk eval --control git:my-skill --treatment my-skill
# 批量评测:每个 skill 独立 vs baseline
omk eval --batch
# 先预览任务计划再执行
omk eval --control v1 --treatment v2 --dry-run
# 复杂配置走 eval.yaml
omk eval --config eval.yaml
常用选项:
--executor <name>显式覆盖执行器;Codex 任务中通常不用传--model <name>显式覆盖任务执行模型;Codex 默认读取本机配置--effort <low|medium|high|xhigh|max>执行模型扩展思考预算(默认 low;跨 effort 报告不严格可比)--judge-models <executor:model[,...]>显式覆盖评委配置(Codex 默认沿用被测模型,≥ 2 条 = ensemble)--concurrency <n>并发数--skip-doctor跳过 doctor preflight 门禁(默认 doctor 会先跑一次卡掉 skill 写法大问题)--no-diagnostic关闭基于已认证 Core 失败、缺失证据、排除项和稳定 reason code 的诊断投影--no-judge关掉评委主观评分(保留断言层)
自动迭代改进
omk evolve skills/my-skill.md --rounds 5
omk evolve skills/my-skill.md --rounds 10 --target 4.5
# 只生成候选,不写回源文件
omk evolve skills/my-skill.md --snapshot-only
evolve 的每个候选都必须通过 Evaluation Core 的 control/treatment A/B 决策:只有带 release-gates-passed 的 PROGRESS 才接受。Core Decision 是唯一接纳依据;同一次 A/B 中的分数差只用于展示,authoring loop 不会再叠加私有分数门禁或拿跨 run 分数比较。写回源文件前还会重新评测原始版本与胜出快照;最终门禁失败时源文件保持不变。改动过大的候选在评测前直接判拒(--edit-budget,默认 0.2)。选择集不能提供无偏泛化结论;需要发布判断时,在 evolve 外保留独立验证集并运行新的 omk eval,不要把该验证集反馈回同一次迭代。
重要:evolve 必须在前台运行(不要用 run_in_background)。 原因:evolve 自带实时进度输出,每个 sample 执行时会打印 [1/5] s001/... ⏳ 执行中...,每轮完成会打印 Round N: score=... ✓ ACCEPT / ✗ REJECT。前台运行时用户能实时看到这些进度,无需手动询问。设置足够长的 timeout(建议 600000ms)以确保命令不会中途超时。
生成测试用例
# 为单个 skill 生成
omk sample skills/my-skill/SKILL.md
# 显式指定数量(不指定时 LLM 根据 skill 类型自动决定 4-8 条)
omk sample skills/my-skill/SKILL.md --count 8
# 自然语言指定重点覆盖场景
omk sample skills/my-skill/SKILL.md --focus "重点覆盖搜索失败 / 权限拒绝 / 跨工具 fallback 路径"
# 为 skill 目录下所有缺测试集的 skill 批量生成
omk sample --batch
目标执行器不支持工具拦截时,omk sample 会自动生成无 mock 用例。当前 codex / codex-sdk 属于这种情况;不要手工补 mocks 或 mock_hit。已有 mocks 用例会被 omk eval 在模型调用前拒绝,避免把执行器能力缺口误判成模型失败。`environment.file