Skill-Audit-Bericht

design-ai-benchmarking Audit-Bericht.

Design and validity review for studies that benchmark one or more AI systems against a human-expert panel as the reference. Covers the evaluation question and arm definition, decoupled multi-dimensional rubrics with anchors, planted calibration probes, reviewer-panel construction, inter-rater reliability targets, LLM-as-judge versus human-as-judge adjudication, construct-independence guards, and a structured rating-export schema. Use before data collection on an AI-vs-expert evaluation.

Experimentell · PrüfenPrüfung nötigErstellt 13. Okt. 2026Heuristisches Metadaten-Audit
76
Audit
69
Vertrauen
69
Qualität
77
Sicherheit
88
Maintain
92
Installieren

OpenAgentSkill Trust Score

69
Manuelle Prüfung

OpenAgentSkill Trust Score

The Trust Score helps an agent decide whether a skill is safe enough to shortlist before installation.

GitHub-Akzeptanz

Info

62

291 GitHub-Stars

Star-/Fork-Aktivität

Info

62

291 Stars und 71 Forks; Issue-Aktivität ist in den aktuellen Metadaten nicht verfügbar

Aktuelle Wartung

Bestanden

88

1 Monate seit dem letzten Push

Lizenzklarheit

Bestanden

86

MIT

README/SKILL.md-Vollständigkeit

Info

76

Öffentliche Metadaten benötigen mehr README/SKILL.md-Kontext

Abhängigkeits-/Laufzeitrisiko

Info

72

Befehlsausführungsfläche

Installationsverfügbarkeit

Bestanden

92

npx skills add Aperivue/medsci-skills --skill design-ai-benchmarking

Sicherheit des Installationsbefehls

Bestanden

92

Standard-Paket- oder Laufzeit-Installationspfad

Berechtigungsumfang

Info

64

Shell- oder Befehlsausführung, Datenbankzugriff

Repository-Nachweis

Bestanden

86

https://github.com/Aperivue/medsci-skills/tree/main/skills/design-ai-benchmarking

Prüfstatus

Info

66

KI-Prüfdaten verfügbar

Agent-validierte Ergebnisse

Info

54

Noch keine Agent-Ergebnisdaten

Prüfungen

Installations- und Adoptionsprüfung

6 Bestanden · 7 Prüfung nötig

Installationspfad

92

Bestanden

npx skills add Aperivue/medsci-skills --skill design-ai-benchmarking

Repository

88

Bestanden

https://github.com/Aperivue/medsci-skills/tree/main/skills/design-ai-benchmarking

Lizenz

86

Bestanden

MIT

Wartung

88

Bestanden

1 Monate seit dem letzten Push

KI-Prüfung

55

Prüfen

No critical security issues detected; the skill is advisory and uses standard file tools only.

README/SKILL.md-Vollständigkeit

84

Bestanden

Usable description available

Abhängigkeitsrisiko

72

Prüfen

Befehlsausführungsfläche

Sicherheit des Installationsbefehls

92

Bestanden

Standard-Paket- oder Laufzeit-Installationspfad

Berechtigungsumfang

64

Prüfen

Shell- oder Befehlsausführung, Datenbankzugriff

Star-/Fork-Aktivität

62

Prüfen

291 Stars und 71 Forks; Issue-Aktivität ist in den aktuellen Metadaten nicht verfügbar

Akzeptanz

68

Info

291 GitHub-Stars

Warnungen

  • No critical security issues detected; the skill is advisory and uses standard file tools only.
  • The SKILL.md excerpt is truncated in the review material, but the provided content is coherent and complete enough for assessment.
  • Quality score needs review

Methode

This report combines public metadata, AI review output, repository freshness, install readiness, OpenAgentSkill events, quality scoring, trust checks, and the agent safety gate. It is not a full source-code security review.

Nahe Optionen vergleichen

Ähnliche Skills als Nächstes prüfen