콘텐츠로 건너뛰기
Telemetry
AI 및 LLM SQL 레시피

달러당 허용되는 AI 출력 측정

모델 지출을 수락, 저장 또는 기타 유용한 제품 결과에 연결합니다.

중급llm_requests검토됨 2026-07-27테스트됨 아파치 DataFusion 45.2.0

검토자 Telemetry 제품 팀 . SQL 호환성, 이벤트 계약, 합성 출력 및 운영상의 주의사항. 표준 및 소유권 검토

질문에 답변됨

어떤 모델과 기능 조합이 달러당 가장 많은 수용 결과를 생성합니까?

가장 저렴한 모델은 사용자가 출력을 버리면 효율적이지 않습니다. 이 쿼리는 허용된 출력 비율을 지출과 비교하여 가치 지향 단위 메트릭을 생성합니다.

이벤트 계약

쿼리가 예상하는 필드

필드유형그것이 존재하는 이유
timestamp_utcTimestamp워크플로 결과가 기록된 시기입니다.
featureUtf8안정적인 제품 기능.
modelUtf8공급자 모델 식별자입니다.
acceptedBoolean사용자가 결과를 수락했는지 또는 저장했는지 여부입니다.
estimated_cost_usdFloat64모델 요청 비용.
DataFusion SQL

쿼리 복사

sql
SELECT
  feature,
  model,
  COUNT(*) AS completed_outputs,
  SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
  100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
    / NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
  SUM(estimated_cost_usd) AS cost_usd,
  SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
    / NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;

이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.

쿼리 결과

달러당 허용되는 출력

가장 큰 모델은 승인률에서는 승리하지만 비용 조정 처리량에서는 손실됩니다.

featuremodelcompleted_outputsaccepted_outputsacceptance_rate_pctcost_usdaccepted_outputs_per_dollar
support_draftfast-small4,2003,108746349.33
document_summarybalanced-medium1,7001,3948278.217.83
research_reportreasoning-large51046490.982152.16

합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.

Accepted outputs per dollar: Measure Accepted AI Outputs per Dollar 예제 결과의 합성 accepted_outputs_per_dollar 값에 대한 정적 차트
결정론적 예제 출력의 색인 생성 가능한 SVG입니다. 기사, 런북 또는 저작자가 포함된 디자인 검토를 위해 다운로드하세요.

예제 재현

공공 픽스처 다운로드

JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. illustrative 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.

SQL 작동 방식

  1. 1합격률은 완료된 출력 중 품질만을 측정합니다. 달러당 허용되는 출력은 경제적 효율성을 추가합니다.
  2. 2최소 샘플 임계값은 소수의 요청에서 승자를 선언하는 것을 방지합니다.
  3. 3승인은 가정된 모델 품질 라벨이 아닌 저장, 전송, 적용 또는 복사와 같은 실제 제품 동작을 통해 정의되어야 합니다.

결정해야 할 극단적인 경우

  • 폐기된 출력은 이후 작업에 대한 정보를 제공하는 경우 여전히 유용할 수 있습니다. 제품 컨텍스트를 통해 결과 신호를 선택합니다.
  • 작업 흐름의 어려움으로 인해 수용 여부가 달라지므로 동일한 기능 내에서 모델을 비교하십시오.
  • 작은 차이로 인해 비용이 많이 드는 모델 마이그레이션을 수행하기 전에 신뢰 구간을 사용하십시오.

추천 대시보드

  • 막대 차트: 기능 및 모델별 accepted_outputs_per_dollar
  • 꺾은선형 차트: 시간 경과에 따른 acceptance_rate_pct
  • 표: 모델 실험의 비용, 대기 시간 및 결과

알림 안내

모델, 프롬프트 또는 도구 변경 후 수용률이 급격히 떨어지면 알림합니다. 페이징 알림이 아닌 대시보드로 비용 효율성을 검토하세요.

알림 설정 읽기

레시피를 활용해 보세요

관련 계측 및 가이드

분석 계속하기

실제 이벤트에서 실행

테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.

무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.

API 키 받기