スキル監査レポート

design-ai-benchmarking 監査レポート.

Design and validity review for studies that benchmark one or more AI systems against a human-expert panel as the reference. Covers the evaluation question and arm definition, decoupled multi-dimensional rubrics with anchors, planted calibration probes, reviewer-panel construction, inter-rater reliability targets, LLM-as-judge versus human-as-judge adjudication, construct-independence guards, and a structured rating-export schema. Use before data collection on an AI-vs-expert evaluation.

実験的 · レビュー要レビュー生成日 2026年10月14日ヒューリスティックなメタデータ監査
76
監査
69
信頼
69
品質
77
セキュリティ
88
保守
92
インストール

OpenAgentSkill Trust Score

69
手動レビュー

OpenAgentSkill Trust Score

Trust Score は、インストール前に候補に入れる安全性を Agent が判断する助けになります。

GitHub 採用度

情報

62

GitHub スター 291

スター/フォーク活動

情報

62

スター 291、フォーク 71; 現在のメタデータでは Issue 活動を利用できません

最近のメンテナンス

合格

88

最終プッシュから 1 か月

ライセンスの明確さ

合格

86

MIT

README/SKILL.md の完全性

情報

76

公開メタデータにはより十分な README/SKILL.md の文脈が必要です

依存関係/ランタイムのリスク

情報

72

コマンド実行範囲

インストール可否

合格

92

npx skills add Aperivue/medsci-skills --skill design-ai-benchmarking

インストールコマンドの安全性

合格

92

標準パッケージまたはランタイムのインストールパス

権限範囲

情報

64

Shell またはコマンド実行、データベースアクセス

リポジトリ根拠

合格

86

https://github.com/Aperivue/medsci-skills/tree/main/skills/design-ai-benchmarking

レビュー状況

情報

66

AI レビューデータを利用できます

Agent 検証結果

情報

54

Agent の成果データはまだありません

チェック

インストールと採用のレビュー

6 合格 · 7 要レビュー

インストール経路

92

合格

npx skills add Aperivue/medsci-skills --skill design-ai-benchmarking

リポジトリ

88

合格

https://github.com/Aperivue/medsci-skills/tree/main/skills/design-ai-benchmarking

ライセンス

86

合格

MIT

メンテナンス

88

合格

最終プッシュから 1 か月

AI レビュー

55

確認

No critical security issues detected; the skill is advisory and uses standard file tools only.

README/SKILL.md の完全性

84

合格

Usable description available

依存関係リスク

72

確認

コマンド実行範囲

インストールコマンドの安全性

92

合格

標準パッケージまたはランタイムのインストールパス

権限範囲

64

確認

Shell またはコマンド実行、データベースアクセス

スター/フォーク活動

62

確認

スター 291、フォーク 71; 現在のメタデータでは Issue 活動を利用できません

採用度

68

情報

GitHub スター 291

警告

  • No critical security issues detected; the skill is advisory and uses standard file tools only.
  • The SKILL.md excerpt is truncated in the review material, but the provided content is coherent and complete enough for assessment.
  • Quality score needs review

方法

このレポートは公開メタデータ、AI レビュー、リポジトリの鮮度、インストール準備、OpenAgentSkill イベント、品質スコア、信頼チェック、Agent セーフティゲートを統合します。完全なソースコード監査ではありません。

近い選択肢を比較

次に監査する関連スキル