1. 이벤트 계약
한 행에 agent_run_outcomes, 쿼리에 사용되는 유형이 명시적으로 지정됩니다.
- timestamp_utc
- Timestamp
- workflow
- Utf8
- model
- Utf8
- status
- Utf8
- reviewer_outcome
- Utf8
- human_handoff
- Boolean
작동 원리
신호부터 결정까지 검토 가능한 워크플로우
1
최종 결과 정의
완료된 에이전트 실행 또는 비즈니스 작업당 하나의 행을 선택하세요. 상태, 기간, 작업 흐름, 릴리스, 전달, 비용 및 안전한 상관 관계 식별자를 기록합니다.
2
유용한 구성요소 이벤트만 추가
알려진 신뢰성, 비용 또는 품질 질문에 답변하면 도구 및 모델 요청 이벤트를 기록합니다. 전체 추적이나 민감한 페이로드를 복사하지 마세요.
3
값과 조인 작업
승인, 인적 검토, 작업 성공 또는 기타 명시적인 제품 결과를 기록한 다음 검토된 SQL 및 전체 분모와 릴리스를 비교합니다.
Telemetry의 AI 에이전트 결과 이벤트
에이전트 실행, 도구 호출 및 터미널 결과를 검사하는 데 사용되는 이벤트 테이블과 SQL 표면을 보여주는 실제 Telemetry 작업 영역입니다.
경계
이것이 대체하지 않는 것
- Telemetry는 OTLP를 수집하거나 분산 추적 폭포를 제공하지 않습니다. OTLP 호환 백엔드에 OpenTelemetry 추적을 유지하고 선택한 결과 이벤트를 안전한 추적 또는 실행 식별자와 연관시킵니다.
- Telemetry는 프롬프트, 완성, 검색된 문서 또는 도구 인수를 전용 LLM 추적 제품으로 저장하고 재생하지 않습니다. 승인된 제한된 필드만 보냅니다.
- Telemetry는 내장된 프롬프트 관리, 평가 데이터 세트, 실험 또는 채점자 실행을 제공하지 않습니다. 해당 워크플로우가 필요한 경우 전문가 평가 플랫폼을 유지하십시오.
검사 가능한 증명 경로
이벤트 계약부터 눈에 보이는 답변까지
이 예에서는 선언된 스키마, 읽기 전용 SQL 및 결정적 합성 결과를 사용합니다. 샘플 데이터를 고객 벤치마크로 제시하지 않고 워크플로를 보여줍니다.
2. 읽기 전용 SQL
어떤 상담사 워크플로가 성공적으로 완료되고 허용되는 결과를 생성합니까?
SELECT
workflow,
model,
COUNT(*) AS runs,
100.0 * SUM(CASE WHEN status = 'success' THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS technical_success_rate_pct,
100.0 * SUM(CASE WHEN reviewer_outcome = 'accepted' THEN 1 ELSE 0 END)
/ NULLIF(SUM(CASE
WHEN reviewer_outcome <> 'not_reviewed' THEN 1 ELSE 0
END), 0) AS reviewed_acceptance_rate_pct,
100.0 * SUM(CASE WHEN human_handoff THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS human_handoff_rate_pct,
AVG(duration_ms) AS average_duration_ms,
SUM(estimated_cost_usd) / NULLIF(COUNT(*), 0) AS cost_per_run_usd
FROM agent_run_outcomes
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY workflow, model
HAVING COUNT(*) >= 20
ORDER BY reviewed_acceptance_rate_pct, runs DESC;3. 합성결과
환불 검토는 기술적으로 완료되지만 다른 워크플로보다 훨씬 더 많은 수정이나 인계가 필요합니다.
| 작업 흐름 | model | runs |
|---|---|---|
| support_triage | configured-model-a | 1840 |
| refund_review | configured-model-b | 620 |
| knowledge_draft | configured-model-a | 940 |
기능
무엇이 포함되어 있나요?
에이전트 실행, 모델 요청, 도구 호출, 평가 및 제품 결과에 대한 명명된 이벤트 테이블
안정적인 실행, 작업, 추적, 계정, 프롬프트 버전, 평가자 버전 및 릴리스 필드
성공률, p95 기간, 허용된 결과당 비용, 도구 루프 및 품질 회귀를 위한 DataFusion SQL
동일한 검토된 쿼리로 구축된 대시보드 및 임계값 알림
에이전트 프레임워크, 모델 공급자, OpenTelemetry 및 MCP 도구에 대한 통합 가이드
에이전트별 설정 경로
워크플로에 이미 있는 코딩 에이전트로 시작하세요.
다음으로 시작하세요. 에이전트 텔레메트리 Skill.md 가이드그런 다음 동일한 검토된 텔레메트리 경계를 집중된 Claude Code, Cursor 또는 Codex 구현 경로로 전달합니다.
분석 보기
이 기능을 사용하는 SQL 레시피
AI 에이전트 작업 성공 및 인간 핸드오프 측정
워크플로와 모델별로 에이전트 작업 성공, 검토자 수락, 비용, 대기 시간, 사람 핸드오프 비율을 비교하세요.
레시피 열기상호 연관된 워크플로우 타임라인 재구성
공유 워크플로 식별자에서 정렬된 서비스 간 워크플로 단계와 경과 시간을 재구성합니다.
레시피 열기반복되는 AI 에이전트 도구 Loops 감지
성공적인 결과에 도달하지 못한 채 소규모 도구 세트를 반복적으로 호출하는 에이전트 실행을 찾아보세요.
레시피 열기달러당 허용되는 AI 출력 측정
모델 지출을 수락, 저장 또는 기타 유용한 제품 결과에 연결합니다.
레시피 열기기능 및 모델별로 LLM 비용 계산
모델 지출, 토큰, 요청량, 요청당 비용을 제품 기능에 반영합니다.
레시피 열기중첩된 AI 도구 호출 이벤트 쿼리
원래 이벤트 페이로드를 평면화하지 않고 점으로 중첩된 필드를 필터링하고 실패한 도구의 순위를 매깁니다.
레시피 열기고객 사례
팀이 이 워크플로를 사용하는 방법
관련 기능