콘텐츠로 건너뛰기
Telemetry
AI 및 LLM SQL 레시피

LLM 캐시 절감 및 재시도 비용 측정

캐시된 요청, 재시도량, 모델별 예상 지출을 비교하여 피할 수 있는 AI 비용을 찾아보세요.

중급llm_requests검토됨 2026-07-27테스트됨 아파치 DataFusion 45.2.0

검토자 Telemetry 제품 팀 . SQL 호환성, 이벤트 계약, 합성 출력 및 운영상의 주의사항. 표준 및 소유권 검토

질문에 답변됨

재시도 및 캐시 누락과 관련된 모델 비용은 얼마입니까?

총 모델 지출은 변경 이유를 숨깁니다. 캐시 결과 및 시도는 프롬프트나 완료를 저장하지 않고도 피할 수 있는 반복 작업을 표시합니다.

이벤트 계약

쿼리가 예상하는 필드

필드유형그것이 존재하는 이유
timestamp_utcTimestamp모델 요청 완료 시간.
modelUtf8모델 식별자.
cache_outcomeUtf8히트, 미스 또는 사용할 수 없습니다.
attemptInt641회 시도 횟수입니다.
estimated_cost_usdFloat64예상 요청 비용.
DataFusion SQL

쿼리 복사

sql
SELECT
  model,
  COUNT(*) AS requests,
  SUM(CASE WHEN cache_outcome = 'hit' THEN 1 ELSE 0 END) AS cache_hits,
  SUM(CASE WHEN attempt > 1 THEN 1 ELSE 0 END) AS retries,
  100.0 * SUM(CASE WHEN cache_outcome = 'hit' THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS cache_hit_rate_pct,
  SUM(CASE WHEN attempt > 1 THEN estimated_cost_usd ELSE 0 END) AS retry_cost_usd,
  SUM(estimated_cost_usd) AS total_cost_usd
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY model
ORDER BY retry_cost_usd DESC;

이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.

쿼리 결과

총 모델 비용 내 재시도 비용

모델이 클수록 캐시 적중률이 낮고 재시도 비용 부담이 커집니다.

modelrequestscache_hitsretriescache_hit_rate_pctretry_cost_usdtotal_cost_usd
gpt-5.118,4006,62074035.9892.41,480.2
gpt-5.1-mini49,20023,81038048.3911.8604.6

합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.

Retry cost within total model cost: Measure LLM Cache Savings and Retry Cost 예제 결과의 합성 retry_cost_usd 값에 대한 정적 차트
결정론적 예제 출력의 색인 생성 가능한 SVG입니다. 기사, 런북 또는 저작자가 포함된 디자인 검토를 위해 다운로드하세요.

예제 재현

공공 픽스처 다운로드

JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. illustrative 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.

SQL 작동 방식

  1. 1캐시 적중률은 기록된 모든 요청 내에서 명시적인 캐시 적중률을 계산합니다.
  2. 21보다 큰 시도는 반복된 모델 작업을 첫 번째 시도 비용에서 분리합니다.
  3. 3결과는 비용 역학을 설명합니다. 지출만을 위해 최적화하기 전에 이를 승인되거나 유지된 결과에 연결하세요.

결정해야 할 극단적인 경우

  • 공급자 측 프롬프트 캐시와 애플리케이션 응답 캐시는 서로 다른 메커니즘입니다.
  • 하나의 논리적 요청이 시도 이벤트와 요약 이벤트를 모두 내보낼 때 비용이 이중으로 계산되는 것을 방지하세요.
  • 비용 추정은 요청이 실행될 때 활성화된 가격 및 토큰 규칙을 사용해야 합니다.

추천 대시보드

  • 누적 막대: 모델별 재시도 및 총 비용
  • 추세: 캐시 적중률
  • 표: 비용이 많이 드는 재시도 루프가 있는 기능

알림 안내

최소 요청 볼륨 이후 재시도 비용 급증 또는 갑작스러운 캐시 적중 붕괴에 대한 알림입니다.

알림 설정 읽기

레시피를 활용해 보세요

관련 계측 및 가이드

분석 계속하기

실제 이벤트에서 실행

테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.

무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.

API 키 받기