이벤트 계약
쿼리가 예상하는 필드
| 필드 | 유형 | 그것이 존재하는 이유 |
|---|---|---|
| timestamp_utc | Timestamp | 모델 요청 완료 시간. |
| model | Utf8 | 공급자 모델 식별자입니다. |
| feature | Utf8 | 요청하는 제품 기능입니다. |
| status | Utf8 | 최종 요청 결과. |
| time_to_first_token_ms | Float64 | 첫 번째 스트리밍 토큰까지 밀리초입니다. |
| latency_ms | Float64 | 총 요청 기간(밀리초)입니다. |
DataFusion SQL
쿼리 복사
sql
SELECT
feature,
model,
COUNT(*) AS requests,
approx_percentile_cont(time_to_first_token_ms, 0.50) AS p50_ttft_ms,
approx_percentile_cont(time_to_first_token_ms, 0.95) AS p95_ttft_ms,
approx_percentile_cont(latency_ms, 0.95) AS p95_total_latency_ms
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '7 days'
AND status = 'success'
AND time_to_first_token_ms IS NOT NULL
GROUP BY feature, model
HAVING COUNT(*) >= 30
ORDER BY p95_ttft_ms DESC;이 읽기 전용 쿼리는 빈 유형의 테이블에 대해 계획되고 실행됩니다. 아파치 DataFusion 45.2.0. 결정론적 샘플 출력은 합성되어 별도로 검토됩니다. 자신의 데이터에 대해 필드 유형, 임계값 및 비즈니스 정의를 검증합니다. 테스트 방법론을 읽어보세요.
쿼리 결과
p95 첫 번째 토큰까지의 시간
보고서 생성에는 시작 일시 중지가 가장 길고 총 완료 속도가 가장 느립니다.
report_generation
4,620 ms
comparison 1,280 ms
draft_reply
920 ms
comparison 310 ms
search_summary
1,380 ms
comparison 480 ms
| feature | model | requests | p50_ttft_ms | p95_ttft_ms | p95_total_latency_ms |
|---|---|---|---|---|---|
| report_generation | large-reasoning | 842 | 1,280 | 4,620 | 18,400 |
| draft_reply | small-fast | 6,810 | 310 | 920 | 3,840 |
| search_summary | balanced | 2,420 | 480 | 1,380 | 6,210 |
합성 예제 출력. 운영 결정에 사용하기 전에 자체 이벤트 스키마 및 임계값에 대해 쿼리를 실행하세요.
예제 재현
공공 픽스처 다운로드
JSON 번들은 타입이 지정된 이벤트 계약을 포함합니다. illustrative 입력 행, 정확한 SQL, 예상 출력, 검토 참고 사항 및 엔진 버전. CSV에는 표시된 결과가 포함됩니다.
SQL 작동 방식
- 1성공적인 스트리밍 요청은 제품 결정 및 모델별로 그룹화됩니다.
- 2p50은 일반적인 일시 중지를 설명하고 p95는 사용자가 불평하는 꼬리를 노출합니다.
- 3총 p95 대기 시간은 TTFT 옆에 남아 있으므로 최적화로 인해 시작이 향상되지 않고 완료가 악화됩니다.
결정해야 할 극단적인 경우
- 비스트리밍 요청에는 의미 있는 첫 번째 토큰 측정이 없습니다.
- 공급자가 보고한 타이밍과 클라이언트가 관찰한 타이밍은 다를 수 있습니다. 측정 경계를 문서화하십시오.
- 프롬프트 크기와 요청된 출력 길이가 두 메트릭에 모두 영향을 미치므로 기능 내에서 모델을 비교하세요.
추천 대시보드
- 그룹화된 막대: p50_ttft_ms 및 p95_ttft_ms
- 추세: 모델 및 기능별 p95 TTFT
- 표: 토큰 수 및 재시도 컨텍스트가 포함된 느린 요청
레시피를 활용해 보세요
관련 계측 및 가이드
분석 계속하기
실제 이벤트에서 실행
테이블을 만들고, 필드를 조정하고, 결과를 저장하세요.
무료로 시작하고, 구조화된 이벤트를 보내고, 쿼리 결과를 차트, 공유 대시보드 위젯 또는 알림 입력으로 사용하세요.