콘텐츠로 건너뛰기
Telemetry
AI 및 LLM SQL 레시피

첫 번째 토큰까지 LLM 시간 측정

모델 및 기능별로 스트리밍 응답성과 총 생성 대기 시간을 비교하세요.

중급llm_requests검토됨 2026-07-27테스트됨 아파치 DataFusion 45.2.0

검토자 Telemetry 제품 팀 . SQL 호환성, 이벤트 계약, 합성 출력 및 운영상의 주의사항. 표준 및 소유권 검토

질문에 답변됨

출력이 시작되기 전에 어떤 모델과 기능 조합이 느리게 느껴지나요?

사용자는 총 완료 시간과 별도로 스트리밍 전 일시 중지를 경험합니다. 두 가지를 모두 측정하면 대기 시간이 요청 시작 또는 생성에서 발생하는지 여부가 드러납니다.

이벤트 계약

쿼리가 예상하는 필드

필드유형그것이 존재하는 이유
timestamp_utcTimestamp모델 요청 완료 시간.
modelUtf8공급자 모델 식별자입니다.
featureUtf8요청하는 제품 기능입니다.
statusUtf8최종 요청 결과.
time_to_first_token_msFloat64첫 번째 스트리밍 토큰까지 밀리초입니다.
latency_msFloat64총 요청 기간(밀리초)입니다.
DataFusion SQL

쿼리 복사

sql
SELECT
  feature,
  model,
  COUNT(*) AS requests,
  approx_percentile_cont(time_to_first_token_ms, 0.50) AS p50_ttft_ms,
  approx_percentile_cont(time_to_first_token_ms, 0.95) AS p95_ttft_ms,
  approx_percentile_cont(latency_ms, 0.95) AS p95_total_latency_ms
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '7 days'
  AND status = 'success'
  AND time_to_first_token_ms IS NOT NULL
GROUP BY feature, model
HAVING COUNT(*) >= 30
ORDER BY p95_ttft_ms DESC;

이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.

쿼리 결과

p95 첫 번째 토큰까지의 시간

보고서 생성에는 시작 일시 중지가 가장 길고 총 완료 속도가 가장 느립니다.

featuremodelrequestsp50_ttft_msp95_ttft_msp95_total_latency_ms
report_generationlarge-reasoning8421,2804,62018,400
draft_replysmall-fast6,8103109203,840
search_summarybalanced2,4204801,3806,210

합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.

p95 time to first token: Measure LLM Time to First Token 예제 결과의 합성 p95_ttft_ms 값에 대한 정적 차트
결정론적 예제 출력의 색인 생성 가능한 SVG입니다. 기사, 런북 또는 저작자가 포함된 디자인 검토를 위해 다운로드하세요.

예제 재현

공공 픽스처 다운로드

JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. illustrative 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.

SQL 작동 방식

  1. 1성공적인 스트리밍 요청은 제품 결정 및 모델별로 그룹화됩니다.
  2. 2p50은 일반적인 일시 중지를 설명하고 p95는 사용자가 불평하는 꼬리를 노출합니다.
  3. 3총 p95 대기 시간은 TTFT 옆에 남아 있으므로 최적화로 인해 시작이 향상되지 않고 완료가 악화됩니다.

결정해야 할 극단적인 경우

  • 비스트리밍 요청에는 의미 있는 첫 번째 토큰 측정이 없습니다.
  • 공급자가 보고한 타이밍과 클라이언트가 관찰한 타이밍은 다를 수 있습니다. 측정 경계를 문서화하십시오.
  • 프롬프트 크기와 요청된 출력 길이가 두 메트릭에 모두 영향을 미치므로 기능 내에서 모델을 비교하세요.

추천 대시보드

  • 그룹화된 막대: p50_ttft_ms 및 p95_ttft_ms
  • 추세: 모델 및 기능별 p95 TTFT
  • 표: 토큰 수 및 재시도 컨텍스트가 포함된 느린 요청

알림 안내

대용량 기능의 p95 TTFT가 연속 버킷에 대한 사용자 경험 목표를 초과하면 알림합니다.

알림 설정 읽기

레시피를 활용해 보세요

관련 계측 및 가이드

분석 계속하기

실제 이벤트에서 실행

테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.

무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.

API 키 받기