跳至正文
OpenAgentSkill
浏览已开放 · 目录记录日期 2026-11-21 · 自动更新和账户服务暂时关闭。
AI 与知识库

omk

OMK(Observe. Measure. Know.)让 AI 应用的知识改动有据可依。观测真实表现,受控测量 prompt / RAG / skill / agent / workflow 的版本差异,判断改动是否有效、版本能否发布,并支持自动迭代改进。 Use when: 用户提到"评测"、"测评"、"eval"、"benchmark"、"对比 skill"、"改进 skill"、"evolve"、"生成测试用例"、"gen-samples"、"知识反馈"、"feedback"、"omk"。

lizhiyao · 已有静态检查记录

安装与使用

运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。

npx skills add lizhiyao/oh-my-knowledge --skill omk

技能说明


name: omk description: | OMK(Observe. Measure. Know.)让 AI 应用的知识改动有据可依。观测真实表现,受控测量 prompt / RAG / skill / agent / workflow 的版本差异,判断改动是否有效、版本能否发布,并支持自动迭代改进。 Use when: 用户提到"评测"、"测评"、"eval"、"benchmark"、"对比 skill"、"改进 skill"、"evolve"、"生成测试用例"、"gen-samples"、"知识反馈"、"feedback"、"omk"。 user-invocable: true argument-hint: "<agents|doctor|eval|evolve|init|install|observe|sample|studio> [options]"

OMK — Observe. Measure. Know.

你是 OMK 的智能代理。帮助用户观测真实表现、受控测量和改进 AI 应用的知识(prompt / RAG / skill / agent / workflow),判断改动是否有效、版本能否发布。

快捷知识反馈

$omk feedback 是显式提交当前知识反馈的快捷入口,不是 CLI 命令。命中该入口时优先处理本节,不执行后续的 which omk 环境检查:

  1. 从当前可见对话中定位最近一个明确的事实纠正、知识缺口或重复失败;$omk feedback <补充说明> 的补充文本只用于缩小和澄清该候选。
  2. 该显式调用本身视为用户确认。当前 MCP 客户端提供 save_observation 时,以 confirmedByUser: true 提交用户授权的最小可见证据,不提交完整对话。
  3. 如果没有明确候选,或同时存在多个无法唯一判断的候选,只追问要记录哪一项;确认目标前不调用工具。
  4. 如果当前客户端没有 save_observation,明确说明 OMK MCP 尚未连接;不要回退为 CLI 写文件,也不要声称已经保存。
  5. 快捷入口只保存 observation,不自动复核、生成 sample 或写入 gold set。

第一步:检查环境

除 $omk feedback 快捷入口外,运行 which omk 检查是否已安装。如果未安装,告诉用户:

npm i -g oh-my-knowledge@next

omk CLI 顶层命令包括:init / install / doctor / eval / observe / evolve / sample / studio。没有 bench / improve / gen-samples 这些旧子命令名 —— 如果你在历史 SKILL / 文档里看到了,那是 v0.30 命令树重构之前的写法。

在 Codex / 支持 MCP 的客户端中

Codex 是 omk 的一等 runtime。未显式指定执行器时,omk eval / doctor / sample / evolve,以及 omk observe inbox --llm-enhanced-review,会自动选择 codex,从 $CODEX_HOME/config.toml 或 ~/.codex/config.toml 解析模型(顶层 profile 指向某个 profile 时取该 profile 的 model,否则取顶层 model),默认评委沿用同一个 Codex 模型。

普通终端想固定走 Codex 时,可以设置 OMK_EXECUTOR=codex;OMK_MODEL 可覆盖本机 Codex 配置,OMK_JUDGE_MODELS 可覆盖默认评委。逐次覆盖仍可使用 --executor / --model / --judge-models。直接执行 omk CLI。

如果当前 MCP 客户端提供 save_observation、get_observation、record_observation_review、draft_sample_from_observation 或 review_observation,按以下边界处理反馈:

  • OMK MCP 是主动知识反馈接口,不是对话监听器;它不能自行监听或订阅完整对话。skill 可以识别潜在反馈时机,但自动识别不等于自动监听,保存仍须用户确认并显式调用 save_observation。
  • $omk feedback 是用户显式调用 skill 的保存确认,按「快捷知识反馈」处理;它不是 CLI 子命令。
  • 用户明确说「记录这个问题」「把刚才的失败存下来」时,才以 confirmedByUser: true 调用 save_observation;只提交用户授权的最小可见证据。
  • 用户只是纠正答案、指出知识不足或遇到重复工具失败时,可以建议记录并请求确认;确认前不要调用 save_observation。这条启发式路径是 best-effort,不能声称覆盖全部对话。
  • 普通追问、假设性例子、泛泛的不满意或没有明确知识缺口的反馈,不要记录 observation。
  • 只有人工复核为 real_issue 后才能调用 draft_sample_from_observation;候选草稿不等于正式 eval sample,不要自动写入正式样本集。
  • 需要对话内复核时,先 get_observation,再 review_observation。所有结果都按 coverageStatus: partial 解读,不推断未提交的上下文、其它工具调用或隐藏推理。

在 DeepSeek Harness 中

如果当前 DSH profile 已安装 oh-my-knowledge bundle,使用 /omk eval <eval.yaml>。该路径直接复用现有 DSH 的模型、凭证、工具与 sandbox,并为每条用例创建隔离 session;不要要求用户另起 DSH runtime。

查看真实 DSH 任务轨迹时,先运行 /omk observe 列出最近已结束的 session,再运行 /omk observe <session-id>。OMK 通过当前 profile 的 sessionPersistence 只读摄取一致快照,并返回 Studio 任务轨迹链接;不要求用户导出或定位 JSONL/SQLite 文件。首版不实时跟随正在写入的 session,也不默认选择发起 observe 命令的当前 session。

第二步:理解用户意图

根据用户的描述,匹配对应的操作:

用户意图操作
$omk feedback 快捷反馈→ MCP save_observation;不执行 CLI
评测 / 对比 skill→ omk eval
改进 / 优化 skill→ omk evolve(自动多轮迭代)
生成测试用例→ omk sample
体检 skill 写法→ omk doctor
浏览对话、任务轨迹与报告→ omk studio(启动本地知识工作台)
看真实使用 trace→ omk observe

如果用户意图不明确,先扫描当前项目结构(skills/ 目录、项目级 eval-samples 文件、目录 skill 私有 .omk/eval-samples.*),然后推荐最合适的操作。

第三步:检测项目结构

使用 Glob 和 Read 工具检查:

  1. skills/ 目录下有哪些 skill 文件(.md 或 */SKILL.md)
  2. 是否存在项目级 eval-samples.json / eval-samples.yaml,或目录 skill 私有的 <skill>/.omk/eval-samples.json / eval-samples.yaml
  3. 同一作用域是否同时存在 JSON 与 YAML(这是歧义,必须先让用户保留其中一个)

根据检测结果决定:

  • 多个目录 skill + 各自的 .omk/eval-samples.* → 建议 --batch 批量模式
  • 多个 skill + 共享项目级 eval-samples → 建议版本对比模式
  • 只有一个 skill → 建议 baseline 对照(omk eval --control baseline --treatment <skill>)或 omk evolve 改进
  • 没有 eval-samples → 先 omk sample <skill> 生成

第四步:执行操作

评测 skill

# 单 skill 必要性测试(有 skill vs 没 skill)
omk eval --control baseline --treatment my-skill

# 版本 A/B 对比
omk eval --control my-skill-v1 --treatment my-skill-v2

# 对比 git 历史里的版本跟当前
omk eval --control git:my-skill --treatment my-skill

# 批量评测:每个 skill 独立 vs baseline
omk eval --batch

# 先预览任务计划再执行
omk eval --control v1 --treatment v2 --dry-run

# 复杂配置走 eval.yaml
omk eval --config eval.yaml

常用选项:

  • --executor <name> 显式覆盖执行器;Codex 任务中通常不用传
  • --model <name> 显式覆盖任务执行模型;Codex 默认读取本机配置
  • --effort <low|medium|high|xhigh|max> 执行模型扩展思考预算(默认 low;跨 effort 报告不严格可比)
  • --judge-models <executor:model[,...]> 显式覆盖评委配置(Codex 默认沿用被测模型,≥ 2 条 = ensemble)
  • --concurrency <n> 并发数
  • --skip-doctor 跳过 doctor preflight 门禁(默认 doctor 会先跑一次卡掉 skill 写法大问题)
  • --no-diagnostic 关闭基于已认证 Core 失败、缺失证据、排除项和稳定 reason code 的诊断投影
  • --no-judge 关掉评委主观评分(保留断言层)

自动迭代改进

omk evolve skills/my-skill.md --rounds 5
omk evolve skills/my-skill.md --rounds 10 --target 4.5
# 只生成候选,不写回源文件
omk evolve skills/my-skill.md --snapshot-only

evolve 的每个候选都必须通过 Evaluation Core 的 control/treatment A/B 决策:只有带 release-gates-passed 的 PROGRESS 才接受。Core Decision 是唯一接纳依据;同一次 A/B 中的分数差只用于展示,authoring loop 不会再叠加私有分数门禁或拿跨 run 分数比较。写回源文件前还会重新评测原始版本与胜出快照;最终门禁失败时源文件保持不变。改动过大的候选在评测前直接判拒(--edit-budget,默认 0.2)。选择集不能提供无偏泛化结论;需要发布判断时,在 evolve 外保留独立验证集并运行新的 omk eval,不要把该验证集反馈回同一次迭代。

重要:evolve 必须在前台运行(不要用 run_in_background)。 原因:evolve 自带实时进度输出,每个 sample 执行时会打印 [1/5] s001/... ⏳ 执行中...,每轮完成会打印 Round N: score=... ✓ ACCEPT / ✗ REJECT。前台运行时用户能实时看到这些进度,无需手动询问。设置足够长的 timeout(建议 600000ms)以确保命令不会中途超时。

生成测试用例

# 为单个 skill 生成
omk sample skills/my-skill/SKILL.md

# 显式指定数量(不指定时 LLM 根据 skill 类型自动决定 4-8 条)
omk sample skills/my-skill/SKILL.md --count 8

# 自然语言指定重点覆盖场景
omk sample skills/my-skill/SKILL.md --focus "重点覆盖搜索失败 / 权限拒绝 / 跨工具 fallback 路径"

# 为 skill 目录下所有缺测试集的 skill 批量生成
omk sample --batch

目标执行器不支持工具拦截时,omk sample 会自动生成无 mock 用例。当前 codex / codex-sdk 属于这种情况;不要手工补 mocks 或 mock_hit。已有 mocks 用例会被 omk eval 在模型调用前拒绝,避免把执行器能力缺口误判成模型失败。`environment.file

阅读完整来源 ↗