스킬 감사 보고서
agent-observability-eval-pipeline 감사 보고서.
End-to-end Agent Observability pipeline for an instrumented ml_app — classify production traces, root-cause failures, bootstrap evaluators, then (optionally) sample + publish a dataset, generate + run an experiment, and analyze results. Six narrated phases with a standardized banner and a "continue" checkpoint between each. Pure orchestration over the agent-observability sub-skills (`agent-observability-session-classify`, `agent-observability-trace-rca`, `agent-observability-eval-bootstrap`, `agent-observability-experiment-bootstrap`, `agent-observability-experiment-analyzer`). Use when user says "run the eval pipeline", "go from traces to evals", "bootstrap evals end to end", "classify then RCA then bootstrap", "build an eval set from scratch", "onboard me to datasets and experiments", "walk me through experiments", "I have an ml_app, now what", "Agent Observability onboarding", "guided experiment setup", "from traces to experiments", or wants a deterministic, narrated tour from produ
OpenAgentSkill 신뢰 점수
OpenAgentSkill 신뢰 점수
Trust Score는 설치 전에 후보 목록에 넣을 만큼 안전한지 Agent가 판단하도록 돕습니다.
GitHub 채택도
정보62
GitHub 스타 158
스타/포크 활동
경고57
스타 158, 포크 25; 현재 메타데이터에서 이슈 활동을 확인할 수 없습니다
최근 유지보수
통과88
마지막 푸시 후 2개월
라이선스 명확성
통과86
MIT
README/SKILL.md 완성도
통과86
메타데이터에 충분한 사용 및 워크플로 맥락이 포함되어 있습니다
의존성/런타임 위험
경고46
command execution surface, credential or environment access
설치 가능 여부
통과92
npx skills add datadog-labs/agent-skills --skill agent-observability-eval-pipeline
설치 명령 안전성
정보68
dynamic command execution, standard package or runtime install path
권한 범위
실패22
secrets or environment access, shell or command execution
저장소 근거
통과86
https://github.com/datadog-labs/agent-skills/tree/main/agent-observability/agent-observability-eval-pipeline
검토 상태
정보66
AI 검토 데이터를 사용할 수 있습니다
Agent 검증 결과
정보54
아직 Agent 결과 데이터가 없습니다
검사
설치 및 채택 검토
설치 경로
92
npx skills add datadog-labs/agent-skills --skill agent-observability-eval-pipeline
저장소
88
https://github.com/datadog-labs/agent-skills/tree/main/agent-observability/agent-observability-eval-pipeline
라이선스
86
MIT
유지보수
88
마지막 푸시 후 2개월
AI 검토
55
The skill invokes sub-skills (agent-observability-session-classify, etc.) that are not included in this repository; they must be separately installed for the pipeline to work.
README/SKILL.md 완성도
86
Usable description available
의존성 위험
46
command execution surface, credential or environment access
설치 명령 안전성
68
dynamic command execution, standard package or runtime install path
권한 범위
22
secrets or environment access, shell or command execution
스타/포크 활동
57
스타 158, 포크 25; 현재 메타데이터에서 이슈 활동을 확인할 수 없습니다
채택도
68
GitHub 스타 158
경고
- Dependency or permission surface needs review
- Permission surface may require sandboxing
- The skill invokes sub-skills (agent-observability-session-classify, etc.) that are not included in this repository; they must be separately installed for the pipeline to work.
- Phase 5 executes a generated Python script. While this is a core feature, ensure that any user-supplied data (e.g., dataset content) cannot inject unintended code or commands into the generated script.
- Quality score needs review
- Permission surface needs review: secrets or environment access, shell or command execution
- Stars/forks activity: 158 stars, 25 forks; issue activity unavailable in current metadata
- Dependency/runtime risk: command execution surface, credential or environment access
- Permission surface: secrets or environment access, shell or command execution
방법
이 보고서는 공개 메타데이터, AI 검토 결과, 저장소 최신성, 설치 준비 상태, OpenAgentSkill 이벤트, 품질 점수, 신뢰 검사와 Agent 안전 게이트를 결합합니다. 전체 소스 코드 보안 감사는 아닙니다.