OpenAI 비용 모니터링 대시보드 및 알림

기록하고 확인할 항목

토큰 사용을 검토 가능한 단위 경제성으로 전환

버전이 지정된 추정이 재시도와 애플리케이션이 실제로 평가하는 다운스트림 결과에 결합되면 공급자 사용이 더욱 유용해집니다.

1
모델 요청
공급자, 모델, 기능, 토큰, 대기 시간, 캐시 및 재시도 컨텍스트를 캡처합니다.
2
비용 견적
날짜가 적힌 가격 소스를 적용하고 추정치 옆에 해당 버전을 유지합니다.
3
제품 결과
요청을 수락, 해결, 저장, 에스컬레이션 또는 폐기된 작업에 연결합니다.
4
단위경제학
토큰이나 요청량만 비교하는 것이 아니라 검토된 결과당 비용을 비교하세요.

사용 사례와 템플릿

측정할 항목 선택하기

사용 사례 가이드를 사용하여 결과, 이벤트 경계 및 분석 질문을 선택하세요. 더 짧은 복사-붙여넣기 구현 개요를 작성할 준비가 되면 일치하는 템플릿을 엽니다.

열기 LLM 비용 추적기

에이전트 프롬프트

이것을 코딩 에이전트에 붙여넣으세요.

바꾸기 YOUR_API_KEY 가입 후 에이전트에게 제품 흐름을 실행하고 첫 번째 이벤트를 확인하도록 요청합니다.

에이전트 프롬프트

OpenAI cost monitoring 설정 프롬프트

text

OpenAI 및 LLM 사용법을 이해할 수 있도록 이 프로젝트를 Telemetry로 계측합니다.

/skill.md 및 이 Telemetry API 키를 사용하세요: YOUR_API_KEY

기록해 주세요:
1. 관련되는 경우 모델, 공급자, 경로, 기능, input_tokens, output_tokens, total_tokens, estimated_cost_usd, latency_ms, 상태 및 error_type가 포함된 모든 모델 요청.
2. tool_name, 상태, latency_ms 및 result_category를 포함하여 에이전트 또는 보조자가 수행한 도구 호출.
3. 기능, 상태, retry_count 및 사용자가 결과를 수락, 복사, 저장 또는 삭제했는지 여부를 포함한 사용자 지향 AI 워크플로 결과입니다.
4. 일일 비용, 기능별 비용, 모델별 실패, p95 대기 시간 및 허용되는 출력 속도가 포함된 대시보드입니다.

내가 명시적으로 저장을 승인하지 않는 한 프롬프트와 원시 완성을 원격 분석에서 제외하세요.

설정 단계

1기본적으로 원시 프롬프트를 저장하지 않고 각 모델 요청을 기록합니다.
2토큰, 예상 비용, 대기 시간, 공급자, 모델 및 워크플로를 기록합니다.
3저장, 복사, 승인, 재시도 등의 제품 결과 이벤트를 연결합니다.
4마진, 신뢰성 및 사용자 가치에 대한 대시보드를 만듭니다.

캡처할 이벤트

llm_request_completedllm_request_failedassistant_tool_calledai_output_acceptedai_output_discardedai_feature_retained

이를 통해 풀리는 질문

활성화된 사용자당 비용이 가장 많이 드는 AI 기능은 무엇입니까?
달러당 허용 프로덕션 트래픽이 가장 좋은 모델은 무엇입니까?
재시도 또는 시간 초과로 인해 변환이 손상되는 부분은 어디입니까?

LLM 비용 및 단위 경제학

공급자 사용량을 정규화한 다음 유용한 결과당 비용을 측정합니다.

토큰 지출은 기능, 계정, 재시도 경로 및 이를 생성한 사용자 결과 검토와 연결되어 있을 때 실행 가능해집니다. 계산기를 사용하여 가정을 테스트한 다음 다중 테이블 SQL Lab에 대해 동일한 분석을 실행합니다.

예상 월별 비용

가격 입력은 예시이며 현재 공급자 가격이 아닙니다. 이를 공급자 계약의 요율 및 청구 가능한 토큰 범주로 바꾸세요.

논리적 요청/월토큰 입력/요청출력 토큰/요청USD / 1M 토큰 입력USD / 1M 토큰 출력자동 재시도율(%)합격률(%)

공급자 시도

105,000

예상 월별 비용

US$304.50

예상 재시도 비용

US$14.50

허용되는 출력

60,000

허용된 출력당 비용

US$0.0051

이 브라우저 전용 견적은 Telemetry로 전송되지 않으며 공급자 송장이 아닙니다.

공급자 중립적인 이벤트 계약

필요한 공급자 응답 필드를 유지하되, 모델 및 가격 변경 시 새 대시보드가 필요하지 않도록 분석 표면을 정규화하세요.

정규화된 필드	그들이 함께 속해 있는 이유
provider, model, feature	공급자 및 제품 워크플로에 대한 사용 속성을 지정합니다.
input_tokens, output_tokens	공급자가 보고한 사용량 구성 요소를 유지합니다.
cached_input_tokens, reasoning_tokens	가능한 경우 선택적 청구 가능 범주를 별도로 유지하십시오.
estimated_cost_usd, pricing_version	가격이 변경된 후에도 분석 추정치를 재현 가능하게 만듭니다.
retry_count, cache_hit, latency_ms	실행 경로 내부의 비용 및 안정성 변경을 설명합니다.
accepted, saved, discarded, human_handoff	공급자 소비를 검토된 제품 결과에 연결합니다.