Rapport d’audit du skill

design-ai-benchmarking Rapport d’audit.

Design and validity review for studies that benchmark one or more AI systems against a human-expert panel as the reference. Covers the evaluation question and arm definition, decoupled multi-dimensional rubrics with anchors, planted calibration probes, reviewer-panel construction, inter-rater reliability targets, LLM-as-judge versus human-as-judge adjudication, construct-independence guards, and a structured rating-export schema. Use before data collection on an AI-vs-expert evaluation.

Expérimental · RevoirRevue nécessaireGénéré 14 oct. 2026Audit heuristique des métadonnées
76
Audit
69
Confiance
69
Qualité
77
Sécurité
88
Maintain
92
Installer

Trust Score OpenAgentSkill

69
Revue manuelle

Trust Score OpenAgentSkill

The Trust Score helps an agent decide whether a skill is safe enough to shortlist before installation.

Adoption GitHub

Info

62

291 stars GitHub

Activité stars/forks

Info

62

291 stars et 71 forks; l’activité des issues n’est pas disponible dans les métadonnées actuelles

Maintenance récente

Validé

88

1 mois depuis le dernier push

Clarté de licence

Validé

86

MIT

Complétude README/SKILL.md

Info

76

Les métadonnées publiques nécessitent davantage de contexte README/SKILL.md

Risque dépendances/runtime

Info

72

Surface d’exécution de commandes

Disponibilité de l’installation

Validé

92

npx skills add Aperivue/medsci-skills --skill design-ai-benchmarking

Sécurité de la commande d’installation

Validé

92

Chemin d’installation standard de package ou runtime

Surface de permissions

Info

64

Exécution shell ou de commande, accès à la base de données

Preuve du dépôt

Validé

86

https://github.com/Aperivue/medsci-skills/tree/main/skills/design-ai-benchmarking

État de revue

Info

66

Données de revue IA disponibles

Résultats prouvés par Agent

Info

54

Pas encore de données de résultats Agent

Vérifications

Revue d’installation et d’adoption

6 Validé · 7 Revue nécessaire

Chemin d’installation

92

Validé

npx skills add Aperivue/medsci-skills --skill design-ai-benchmarking

Dépôt

88

Validé

https://github.com/Aperivue/medsci-skills/tree/main/skills/design-ai-benchmarking

Licence

86

Validé

MIT

Maintenance

88

Validé

1 mois depuis le dernier push

Revue IA

55

Vérifier

No critical security issues detected; the skill is advisory and uses standard file tools only.

Complétude README/SKILL.md

84

Validé

Usable description available

Risque de dépendances

72

Vérifier

Surface d’exécution de commandes

Sécurité de la commande d’installation

92

Validé

Chemin d’installation standard de package ou runtime

Surface de permissions

64

Vérifier

Exécution shell ou de commande, accès à la base de données

Activité stars/forks

62

Vérifier

291 stars et 71 forks; l’activité des issues n’est pas disponible dans les métadonnées actuelles

Adoption

68

Info

291 stars GitHub

Avertissements

  • No critical security issues detected; the skill is advisory and uses standard file tools only.
  • The SKILL.md excerpt is truncated in the review material, but the provided content is coherent and complete enough for assessment.
  • Quality score needs review

Méthode

This report combines public metadata, AI review output, repository freshness, install readiness, OpenAgentSkill events, quality scoring, trust checks, and the agent safety gate. It is not a full source-code security review.

Comparer les options proches

Skills associés à auditer ensuite