LlamaIndex Agent Telemetry: 경계에서 검증된 행까지
제어된 애플리케이션 경계에서 LlamaIndex Agent Telemetry를 사용하고, 이벤트 계약을 작게 유지하고, 집계 뷰를 구축하기 전에 알려진 결과를 확인하세요.
- 1
결과를 선택하세요
LlamaIndex 에이전트 모니터링
- 2
계약 정의
run_id, 워크플로, agent_name, model_alias, index_version, prompt_version 및 릴리스
- 3
경계 계측
공용 에이전트 실행 또는 워크플로 경계를 래핑하고 핸들러가 완료된 후 하나의 터미널 애플리케이션 결과를 내보냅니다.
- 4
증거를 확인하세요
Exercise a known fixture, then inspect agent_run_completed for one correctly typed terminal row.
시작하기 전에
전제 조건 및 경계
- 신뢰할 수 있는 Python 프로세스에서 초기화된 LlamaIndex 및 telemetry-sh
- 애플리케이션 소유의 실행 ID와 안정적인 워크플로, 에이전트, 인덱스 및 릴리스 버전
- 프롬프트, 출력, 검색된 노드, 도구 인수 및 추적 콘텐츠에 대한 검토된 정책
배송 설정
서버 측 설치 및 초기화
서버 측 키를 사용하여 프로세스당 한 번씩 동기 코드의 경우 Telemetry를 초기화하고 비동기 코드의 경우 TelemetryAsync를 초기화합니다. 브라우저 번들, 클라이언트에 표시되는 환경 변수, 소스 제어, 로그 및 예외 메시지에서 수집 자격 증명을 유지하세요.
pip 설치
python -m pip install telemetry-sh- 1제한된 네트워크 동작을 갖춘 재사용 가능한 서버 측 전달 클라이언트 하나를 준비합니다.
- 2성공, 실패, 재시도 또는 시간 초과 경계에 결과 이벤트를 추가합니다.
- 3알림을 활성화하기 전에 제어된 고정 장치를 보내고 저장된 행을 검사하십시오.
스니펫
하나의 체계적인 이벤트로 시작하세요
워크플로가 완료, 실패 또는 재시도되는 위치에 이 셰이프를 추가합니다. 그런 다음 실제 필드에서 대시보드를 구축합니다.
LlamaIndex Agent Telemetry 이벤트
from time import perf_counter
async def run_support_agent(agent, user_message: str, run_id: str):
started_at = perf_counter()
status = "success"
error_type = None
try:
return await agent.run(user_msg=user_message)
except Exception as error:
status = "failed"
error_type = classify_agent_error(error)
raise
finally:
await telemetry.log("agent_run_completed", {
"run_id": run_id,
"workflow": "support_resolution",
"agent_name": "llamaindex_support_agent",
"status": status,
"error_type": error_type,
"duration_ms": round((perf_counter() - started_at) * 1000),
"index_version": INDEX_VERSION,
"prompt_version": PROMPT_VERSION,
"release": APP_RELEASE,
})이벤트 계약
run_id, 워크플로, agent_name, model_alias, index_version, prompt_version 및 릴리스
상태, duration_ms, tool_call_count, retry_count, human_handoff 및 error_type
estimated_cost_usd, 허용됨, evaluation_score, evaluator_version 및 승인된 환경
구현 체크포인트
체크포인트 1
공용 에이전트 실행 또는 워크플로 경계를 래핑하고 핸들러가 완료된 후 하나의 터미널 애플리케이션 결과를 내보냅니다.
체크포인트 2
단계 수준 검사를 위해 LlamaIndex 워크플로 이벤트 및 계측을 사용합니다. 검토된 SQL 질문에 필요한 집계 필드만 Telemetry로 보냅니다.
체크포인트 3
프롬프트, 에이전트 메시지, 검색된 노드, 포함, 도구 입력, 도구 출력 또는 예외 메시지를 이벤트에 직렬화하지 마세요.
검증
이벤트가 도착했음을 증명하세요.
알려진 성공 및 실패 사례를 연습한 후 이를 실행하십시오. 최종 이벤트 계약이 스니펫과 다른 경우 대체 테이블 이름을 바꾸세요.
LlamaIndex Agent Telemetry 확인 쿼리
SELECT *
FROM agent_run_completed
ORDER BY timestamp_utc DESC
LIMIT 20;구현 참조
새로운 프로덕션 경로를 활성화하기 전에 이벤트 계약, 데이터 안전 지침, 업스트림 기본 문서를 검토하세요.
프로덕션 경계
결과 이벤트를 작고 복구 가능하게 유지
이 패턴은 다음을 제공합니다.
- 업스트림 워크플로우 옆에 제한된 SQL 지원 결과가 있습니다.
- 대시보드, 알림 및 교차 이벤트 상관 관계를 위한 안정적인 필드입니다.
- 성공, 실패, 재시도 및 시간 초과 동작을 검증하기 위한 고정 장치 기반 경로입니다.
이 패턴은 제공하지 않습니다
- OTLP 내보내기, 자동 수집 파이프라인 또는 자세한 추적 및 진단 로그를 대체합니다.
- 페이로드에 이벤트 ID가 포함되어 있기 때문에 정확히 한 번만 전달됩니다.
- 원시 공급자 페이로드, 사용자 콘텐츠, 자격 증명 또는 규제 데이터를 수집할 수 있는 권한입니다.
이벤트 스키마 시작점
이 워크플로우에 대한 이벤트 계약
쿼리 또는 스니펫을 프로덕션에 적용하기 전에 행 그레인, 방출 경계, 필수 유형, 개인 정보 보호 클래스, 예제 페이로드 및 유효성 검사 체크리스트를 검토하세요.
관련 제품 기능
이 워크플로를 다음에서 계속하세요. AI 에이전트 모니터링
검토 가능한 SQL을 사용하여 에이전트 실행, 도구 사용, 모델 비용, 품질 및 제품 결과를 연결하세요.
관련 SQL 레시피
SQL로 다음 질문에 답하세요
이 워크플로의 구조화된 필드에 대해 쿼리를 실행하고, 예제 결과를 검사하고, 유용한 답변을 대시보드 또는 알림으로 전환하세요.
구현 제품군별로 찾아보기
관련 통합 패턴 비교
이 통합과 페어링할 템플릿
더 많은 통합