콘텐츠로 건너뛰기
Telemetry
이벤트 추적 템플릿

LLM 비용 추적기

기능, 사용자 및 계정별로 모델 지출, 토큰 사용량, 대기 시간, 실패율 및 가치 신호를 측정합니다.

검토자 Telemetry 제품 팀 . 이벤트 이름, 권장 필드, 쿼리로 답할 질문, 제외할 데이터를 확인했습니다. 이 페이지의 검토 담당자

이를 통해 풀리는 질문
  • 보유 계정당 비용이 가장 많이 드는 기능은 무엇입니까?
  • 달러당 허용 출력 비율이 가장 높은 모델은 무엇입니까?
  • 재시도 또는 시간 초과로 인해 마진 위험이 숨겨지는 곳은 어디입니까?
템플릿 증거 경로

LLM cost tracker: 구현에서 결정까지

프롬프트를 구현 개요로 간주하세요. 유용한 아티팩트는 코드만 복사되는 것이 아니라 신뢰할 수 있는 답변을 생성하는 검토된 이벤트 계약입니다.

  1. 1

    경계를 설정하세요

    Instrument the point where llm_request_completed becomes final.

  2. 2

    계약 생성

    Start with llm_request_completed, llm_request_failed, llm_stream_completed and keep every field typed, bounded, and privacy-reviewed.

  3. 3

    픽스처 실행

    집계 결과에 의존하기 전에 알려진 성공, 실패, 재시도 및 빈 결과 사례를 연습해 보세요.

  4. 4

    질문에 답하세요

    보유 계정당 비용이 가장 많이 드는 기능은 무엇입니까?

템플릿과 사용 사례

이 템플릿으로 이벤트 추가하기

측정 목표가 이미 명확한 경우 이 템플릿을 복사하세요. 일치하는 사용 사례 가이드를 사용하여 이벤트 경계, 성공 정의 및 결과 SQL이 지원해야 하는 결정을 검토하세요.

읽기 OpenAI 비용 모니터링

템플릿

이것을 코딩 에이전트에 붙여넣으세요.

바꾸기 YOUR_API_KEY, 로컬에서 흐름을 실행한 다음 생성된 이벤트 및 대시보드를 확인합니다.

llm-cost-tracker

LLM 비용 추적기

text
Telemetry로 LLM 사용량 및 비용을 계측하세요.

/skill.md 및 이 Telemetry API 키를 사용하세요: YOUR_API_KEY

다음을 사용하여 각 모델 요청을 기록합니다.
공급자, 모델, 경로, 기능, user_id, team_id, input_tokens, output_tokens, total_tokens, estimated_cost_usd, latency_ms, 상태, retry_count 및 error_type.

복사, 저장, 수락, 재시도, 재생성 또는 삭제와 같은 결과 이벤트를 연결합니다.

일일 지출, 기능별 비용, 계정별 비용, 모델별 실패, p95 대기 시간 및 허용된 출력 속도에 대한 대시보드를 만듭니다.

기본적으로 원시 프롬프트나 완성을 저장하지 마세요.

캡처할 이벤트

llm_request_completedllm_request_failedllm_stream_completedllm_output_savedllm_output_discarded

검증 체크리스트

완전한 계측 단계가 남기는 것

이벤트

합성 이벤트는 안정적인 이름과 필드 유형을 사용하여 의도한 테이블에 도달합니다.

쿼리

첫 번째 SQL 쿼리는 명시적인 시간 범위를 사용하여 그럴듯한 행을 반환합니다.

조회수

대시보드는 실제 필드를 사용하며 변경 사항을 설명하기에 충분한 컨텍스트를 포함합니다.

안전

프롬프트, 본문, 자격 증명, 서명 및 비공개 콘텐츠에 대한 수정 여부를 확인했습니다.

이벤트 스키마 예제

쿼리 또는 스니펫을 프로덕션에 적용하기 전에 행 그레인, 방출 경계, 필수 유형, 개인 정보 보호 클래스, 예제 페이로드 및 유효성 검사 체크리스트를 검토하세요.

관련 제품 기능

이 워크플로를 다음에서 계속하세요. AI 에이전트 모니터링

검토 가능한 SQL을 사용하여 에이전트 실행, 도구 사용, 모델 비용, 품질 및 제품 결과를 연결하세요.

관련 SQL 레시피

더 많은 SQL 예제

이 워크플로의 구조화된 필드에 대해 쿼리를 실행하고, 예제 결과를 검사하고, 유용한 답변을 대시보드 또는 알림으로 전환하세요.

모든 레시피 찾아보기
쿼리 예제 모음AI 및 LLM SQL

더 많은 템플릿