최종 결과의 소유자 계측
요청 비용 및 대기 시간에 대해서는 모델 SDK 가이드를 사용한 다음 도구 선택, 재시도 및 최종 작업 상태가 알려지는 에이전트 또는 프레임워크 가이드를 추가하세요.
선택 프레임워크
결과를 아는 경계를 선택하세요
추적과 결과를 뚜렷하게 유지
필요한 경우 세부 범위에 대한 추적 백엔드를 유지합니다. 승인된 상관 식별자를 사용하여 제한된 제품 결과를 Telemetry로 보냅니다.
비용 외에 가치 측정
요청 볼륨만 최적화하는 대신 승인, 저장, 해결, 에스컬레이션 또는 전달과 같은 검토 결과에 토큰 및 대기 시간을 연결합니다.
공유 이벤트 계약
첫 번째 스키마를 상호 운용 가능하게 유지
- run_id, 기능, 공급자, 모델 및 상태
- input_tokens, output_tokens, estimated_cost_usd 및 latency_ms
- tool_name, retry_count, cache_hit, reviewer_outcome 및 human_handoff
이러한 필드를 워크플로에 맞게 조정하되 여러 서비스가 동일한 테이블에 의존하기 전에 단위, 상태 범주, 식별자 및 소유권을 명시적으로 유지하세요.
검증
알림 전 실패 경로 연습
- 1하나의 성공적인 모델 요청을 실행하고 공급자가 보고한 토큰을 조정합니다.
- 2하나의 도구 실패, 재시도 및 최종 에이전트 결과를 연습합니다.
- 3원시 프롬프트, 완료, 자격 증명 및 개인 도구 페이로드가 제외되는지 확인하세요.
- 4기능별 쿼리 비용, 대기 시간, 실패율 및 허용되는 결과입니다.
구현 가이드
프레임워크, 공급자 또는 런타임 일치
소스 구현 가이드
OpenAI 에이전트 Telemetry
구조화된 이벤트를 통해 OpenAI 에이전트 실행, 도구 호출, 모델 사용, 대기 시간, 비용 및 최종 결과를 기록합니다.
가이드 열기소스 구현 가이드
OpenAI 응답 API Telemetry
프롬프트나 생성된 콘텐츠를 수집하지 않고 OpenAI 응답 API 대기 시간, 토큰 사용, 도구 활동, 오류 및 다운스트림 결과를 측정합니다.
가이드 열기소스 구현 가이드
LiteLLM 게이트웨이 및 SDK Telemetry
제어된 모델 게이트웨이 전체에서 LiteLLM 공급자 라우팅, 재시도, 폴백, 토큰 사용, 대기 시간, 비용 추정 및 허용된 결과를 추적합니다.
가이드 열기소스 구현 가이드
인류 클로드 API Telemetry
프롬프트를 저장하지 않고도 Claude API 토큰 사용량, 모델, 대기 시간, 중지 이유, 오류, 비용 컨텍스트를 추적하고 제품 결과를 검토할 수 있습니다.
가이드 열기소스 구현 가이드
구글 제미니 API Telemetry
프롬프트나 생성된 콘텐츠를 저장하지 않고도 Gemini 요청 대기 시간, 모델 사용, 토큰, 완료 이유, 오류 및 검토된 제품 결과를 추적할 수 있습니다.
가이드 열기소스 구현 가이드
Amazon Bedrock 모델 Telemetry
모델 또는 추론 프로필, 토큰 사용량, 대기 시간, 중지 이유, 재시도 및 비즈니스 결과를 기준으로 Bedrock Converse 요청을 측정합니다.
가이드 열기소스 구현 가이드
Azure OpenAI 응답 Telemetry
편집 가능한 SQL 지원 이벤트를 통해 Azure OpenAI 배포 사용량, 토큰 비용, 대기 시간, 오류 및 제품 결과를 추적하세요.
가이드 열기소스 구현 가이드
Vercel AI SDK와 Telemetry 연동
AI SDK 워크플로에서 스트리밍 완료, 토큰 사용, 재시도, 대기 시간 및 허용된 결과를 추적합니다.
가이드 열기소스 구현 가이드
LangChain 에이전트 결과 Telemetry
원시 추적을 복제하지 않고도 LangChain 에이전트 실행 및 도구 결과를 제품 관련 비용, 안정성, 핸드오프 및 승인 지표에 연결합니다.
가이드 열기소스 구현 가이드
LangGraph 에이전트 관찰성
LangGraph 실행 결과, 노드 및 도구 오류, 재시도, 체크포인트, 사람의 핸드오프, 대기 시간 및 검토된 작업 품질을 측정합니다.
가이드 열기소스 구현 가이드
클로드 에이전트 SDK Telemetry
프롬프트나 도구 페이로드를 저장하지 않고도 Claude Agent SDK 실행 결과, 기간, 도구 활동, 회전, 비용 및 승인된 제품 신호를 추적할 수 있습니다.
가이드 열기소스 구현 가이드
피단틱 AI 에이전트 Telemetry
안전한 구조화된 이벤트를 통해 Pydantic AI 실행 결과, 검증된 출력, 재시도, 도구 활동, 대기 시간, 사용량 및 제품 승인을 측정합니다.
가이드 열기소스 구현 가이드
CrewAI 워크플로우 Telemetry
에이전트 대화를 유지하지 않고도 CrewAI 팀 및 흐름 결과, 작업 수, 핸드오프, 재시도, 대기 시간, 비용 및 허용된 결과를 추적합니다.
가이드 열기소스 구현 가이드
Google ADK 에이전트 Telemetry
SQL 지원 이벤트를 통해 Google Agent Development Kit 세션, 실행 결과, 도구 활동, 핸드오프, 지연 시간 및 승인된 제품 신호를 측정합니다.
가이드 열기소스 구현 가이드
마스트라 에이전트 Telemetry
내장된 추적 및 평가와 함께 Mastra 에이전트 및 워크플로 결과, 도구 활동, 대기 시간, 재시도, 비용 및 제품 승인을 추적합니다.
가이드 열기소스 구현 가이드
LlamaIndex 에이전트 Telemetry
구조화된 이벤트를 통해 LlamaIndex 에이전트 및 워크플로 결과, 도구 활동, 대기 시간, 검색 버전, 비용 및 검토된 품질을 추적하세요.
가이드 열기소스 구현 가이드
DSPy 프로그램 평가 Telemetry
SQL 지원 이벤트를 통해 릴리스 전반에 걸쳐 DSPy 프로그램 대기 시간, 오류, 지표 점수, 최적화 버전, 모델 비용 및 허용된 결과를 측정합니다.
가이드 열기소스 구현 가이드
AutoGen 작업 흐름, 상태 및 시간 초과 모니터링
AutoGen 작업 흐름 상태, 시간 초과, 팀 및 에이전트 결과, 도구 활동, 핸드오프, 대기 시간, 실패, 비용 및 간결한 구조적 이벤트를 통해 릴리스를 추적합니다.
가이드 열기소스 구현 가이드
시맨틱 커널 에이전트 Telemetry
OpenTelemetry 추적과 함께 시맨틱 커널 기능 및 에이전트 결과, 도구 활동, 모델 사용, 대기 시간, 비용 및 릴리스를 측정합니다.
가이드 열기소스 구현 가이드
MCP 서버 및 도구 Telemetry
인수나 반환된 콘텐츠를 저장하지 않고 모델 컨텍스트 프로토콜 도구 결과, 대기 시간, 오류, 승인, 재시도, 클라이언트 및 릴리스를 추적합니다.
가이드 열기먼저 하나의 엔드투엔드 워크플로를 확인하세요.
무료 API 키를 생성하고, 가장 가까운 런타임 가이드를 선택하고, 적용 범위를 확장하기 전에 알려진 성공과 실패를 보내세요.