내구성 있는 제품 결과에 세부적인 실행을 연결합니다.
전문가 추적 경로에서 단계 수준 추적을 유지한 다음 에이전트 품질, 비용, 안정성 및 제품 동작을 결합할 수 있는 하나의 컴팩트 터미널 이벤트를 내보냅니다.
- 1
에이전트 실행
승인된 실행 식별자, 워크플로, 모델 및 프롬프트 버전으로 시작하세요.
- 2
도구 및 재시도
페이로드를 복사하지 않고도 오류를 추적하고 분류하는 세부 단계를 유지합니다.
- 3
최종 결과
비용과 기간에 따라 성공, 실패, 취소 또는 사람의 핸드오프를 내보냅니다.
- 4
SQL 결정
기능과 릴리스별로 수용된 결과, 실패, 단위 경제성을 비교합니다.
시작하기 전에
시작하기 전에
- 서버 런타임에서 초기화된 OpenAI 에이전트 SDK 및 telemetry-sh 패키지
- 문서화된 워크플로우 이름과 최종 성공, 실패 및 핸드오프 결과
- 어떤 프롬프트, 도구 입력 및 출력 콘텐츠를 제외해야 하는지에 대한 결정
배송 설정
서버 측 설치 및 초기화
서버 전용 코드에서 telemetry-sh를 가져오고 process.env.TELEMETRY_API_KEY로 한 번 초기화합니다. 브라우저 번들, 클라이언트에 표시되는 환경 변수, 소스 제어, 로그 및 예외 메시지에서 수집 자격 증명을 유지하세요.
npm 설치
npm install telemetry-sh- 1제한된 네트워크 동작을 갖춘 재사용 가능한 서버 측 전달 클라이언트 하나를 준비합니다.
- 2성공, 실패, 재시도 또는 시간 초과 경계에 결과 이벤트를 추가합니다.
- 3알림을 활성화하기 전에 제어된 고정 장치를 보내고 저장된 행을 검사하십시오.
스니펫
하나의 체계적인 이벤트로 시작하세요
워크플로가 완료, 실패 또는 재시도되는 위치에 이 셰이프를 추가합니다. 그런 다음 실제 필드에서 대시보드를 구축합니다.
OpenAI agent telemetry 이벤트
await telemetry.log("agent_tool_called", {
run_id: runId,
workflow: "support_resolution",
agent_name: "support_agent",
model: "gpt-4.1",
tool_name: "lookup_order",
status: "success",
latency_ms: 842,
retry_count: 0,
estimated_cost_usd: 0.018,
prompt_version: "support-v3",
release: process.env.APP_RELEASE,
});이벤트 스키마
run_id, 워크플로, agent_name, 모델 및 prompt_version
상태, duration_ms, retry_count, total_tokens 및 estimated_cost_usd
tool_name, tool_status, human_handoff, reviewer_outcome 및 릴리스
설정 확인하기
체크포인트 1
전체 실행이 완료되면 하나의 컴팩트 제품 결과를 내보냅니다. 모든 범위를 두 번째 시스템에 복사하는 대신 단계 수준 디버깅을 위해 SDK 추적을 유지합니다.
체크포인트 2
도구 인수나 결과를 저장하지 않고 별도의 도구 이벤트를 연결하려면 공유된 run_id 또는 승인된 trace_id를 사용하세요.
체크포인트 3
완료율 대시보드에 의존하기 전에 도구 오류, 가드레일 거부, 핸드오프, 취소 및 내보내기 플러시 동작을 연습해 보세요.
검증
이벤트가 도착했음을 증명하세요.
알려진 성공 및 실패 사례를 연습한 후 이를 실행하십시오. 최종 이벤트 계약이 스니펫과 다른 경우 대체 테이블 이름을 바꾸세요.
OpenAI agent telemetry 확인 쿼리
SELECT *
FROM agent_tool_called
ORDER BY timestamp_utc DESC
LIMIT 20;구현 참조
새로운 프로덕션 경로를 활성화하기 전에 이벤트 계약, 데이터 안전 지침, 업스트림 기본 문서를 검토하세요.
이벤트를 기록할 위치
결과 이벤트를 작고 복구 가능하게 유지
이 패턴은 다음을 제공합니다.
- 업스트림 워크플로우 옆에 제한된 SQL 지원 결과가 있습니다.
- 대시보드, 알림 및 교차 이벤트 상관 관계를 위한 안정적인 필드입니다.
- 성공, 실패, 재시도 및 시간 초과 동작을 검증하기 위한 고정 장치 기반 경로입니다.
이 패턴은 제공하지 않습니다
- OTLP 내보내기, 자동 수집 파이프라인 또는 자세한 추적 및 진단 로그를 대체합니다.
- 페이로드에 이벤트 ID가 포함되어 있기 때문에 정확히 한 번만 전달됩니다.
- 원시 공급자 페이로드, 사용자 콘텐츠, 자격 증명 또는 규제 데이터를 수집할 수 있는 권한입니다.
이벤트 스키마 예제
이 워크플로의 이벤트 스키마
쿼리 또는 스니펫을 프로덕션에 적용하기 전에 행 그레인, 방출 경계, 필수 유형, 개인 정보 보호 클래스, 예제 페이로드 및 유효성 검사 체크리스트를 검토하세요.
관련 제품 기능
이 워크플로를 다음에서 계속하세요. AI 에이전트 모니터링
검토 가능한 SQL을 사용하여 에이전트 실행, 도구 사용, 모델 비용, 품질 및 제품 결과를 연결하세요.
관련 SQL 레시피
더 많은 SQL 예제
이 워크플로의 구조화된 필드에 대해 쿼리를 실행하고, 예제 결과를 검사하고, 유용한 답변을 대시보드 또는 알림으로 전환하세요.
AI 에이전트 도구 승인 결정 감사
가장 자주 거부되거나 사람 승인으로 전달되는 에이전트 도구는 무엇입니까?
레시피 열기프롬프트 버전별 AI 품질 회귀 찾기
새로운 프롬프트 버전은 사람의 핸드오프를 늘리지 않고도 품질을 향상시켰습니까?
레시피 열기상호 연관된 워크플로우 타임라인 재구성
최근 실패한 워크플로에서 순서대로 어떤 일이 발생했나요?
레시피 열기중첩된 AI 도구 호출 이벤트 쿼리
가장 많이 실패한 호출과 관련된 AI 도구 및 인수는 무엇입니까?
레시피 열기반복되는 AI 에이전트 도구 Loops 감지
반복적인 도구 루프에서 멈춘 것처럼 보이는 에이전트 실행은 무엇입니까?
레시피 열기기능 및 모델별로 LLM 비용 계산
LLM 지출을 주도하는 제품 기능과 모델은 무엇입니까?
레시피 열기LLM 캐시 절감 및 재시도 비용 측정
재시도 및 캐시 누락과 관련된 모델 비용은 얼마입니까?
레시피 열기첫 번째 토큰까지 LLM 시간 측정
출력이 시작되기 전에 어떤 모델과 기능 조합이 느리게 느껴지나요?
레시피 열기달러당 허용되는 AI 출력 측정
어떤 모델과 기능 조합이 달러당 가장 많은 수용 결과를 생성합니까?
레시피 열기AI 에이전트 작업 성공 및 인간 핸드오프 측정
어떤 상담사 워크플로가 성공적으로 완료되고 허용되는 결과를 생성합니까?
레시피 열기버전별 RAG 검색 품질 평가
새로운 RAG 파이프라인이 검색 및 근거 있는 답변 비율을 향상시켰습니까?
레시피 열기구현 제품군별로 찾아보기
관련 통합 패턴 비교
이 통합과 페어링할 템플릿
더 많은 통합
Vercel AI SDK와 Telemetry 연동
AI SDK 워크플로에서 스트리밍 완료, 토큰 사용, 재시도, 대기 시간 및 허용된 결과를 추적합니다.
가이드 열기클로드 에이전트 SDK Telemetry
프롬프트나 도구 페이로드를 저장하지 않고도 Claude Agent SDK 실행 결과, 기간, 도구 활동, 회전, 비용 및 승인된 제품 신호를 추적할 수 있습니다.
가이드 열기피단틱 AI 에이전트 Telemetry
안전한 구조화된 이벤트를 통해 Pydantic AI 실행 결과, 검증된 출력, 재시도, 도구 활동, 대기 시간, 사용량 및 제품 승인을 측정합니다.
가이드 열기