Telemetry는 에이전트의 동작을 계측하고 실제 결과를 분석해 다음 개선으로 이어지는 피드백 루프를 제공합니다. 판단의 근거가 되는 SQL은 사람이 직접 검토할 수 있습니다.
실제 결과 · 직접 확인할 수 있는 SQL · 사람이 검토할 수 있는 판단
telemetry.sh를 사용하여 계측, 배포, 기회 찾기, 수정 후 변경 사항이 도움이 되었는지 확인하세요.
결정 루프
에이전트는 최적화에 앞서 계측합니다. 그런 다음 배포하고 결과를 쿼리해 개선 기회를 찾습니다. 수정하고 다시 배포한 뒤 결과가 실제로 나아졌는지 확인합니다.
에이전트에게 목표와 가드레일을 부여하세요. 대기 시간이나 오류를 늘리지 않고 결제 완료율을 높이세요.
동작을 변경하기 전에 결과를 계측하고, 전달을 테스트하고, 이벤트 계약을 배포합니다.
결과를 쿼리하고, 기회를 찾고, 수정 사항을 제공하고, 재배포 후 개선된 결과를 확인합니다.
결정의 근거
이 루프에서 에이전트는 결제 릴리스를 비교해 느린 경로를 찾고 수정 사항을 배포한 뒤, p95는 낮아지고 완료율은 높아졌는지 확인합니다. 성장, 안정성, AI 품질, 비용에도 같은 패턴을 적용할 수 있습니다.
더 나은 결정
승인율이 떨어진다면 실행 속도가 빨라도 더 나은 결과가 아닙니다. 사람에게 넘기는 작업이 늘어난다면 더 저렴한 모델도 더 나은 선택이 아닙니다. Telemetry를 사용하면 에이전트가 결과와 그 결과를 만드는 비용을 함께 판단할 수 있습니다.
SQL로 OpenAI 비용 추적사용자가 실제로 받은 결과와 릴리스, 프롬프트 버전, 모델, 경로 및 워크플로를 비교합니다.
최적화로 인해 단점이 숨겨지지 않도록 품질, 성공, 대기 시간 및 비용을 동일한 쿼리에 유지하세요.
이벤트 계약, SQL, 결과 및 주의 사항은 결정을 담당하는 사람에게 계속 표시됩니다.
측정할 가치가 있는 결정
추측의 대가가 큰 지점에서 시작하세요. 각 워크플로는 유지해야 할 대시보드 하나가 더 늘어나는 대신 반복 가능한 검증 루프가 됩니다.
변경 전후를 비교할 수 있는 안정적인 결과, 릴리스, 기간 및 워크플로 필드를 에이전트에 제공합니다. 증거가 안전하고 읽기 쉽게 유지되도록 비밀과 원시 페이로드를 유지하세요.
telemetry.log("checkout_attempt_completed", {
attempt_id,
status: "completed",
duration_ms,
step,
release,
});사람이 참여하는 검토
“Telemetry를 사용하면 비즈니스에서 진행되는 상황을 매우 쉽게 추적, 분석 및 시각화할 수 있습니다.”
“데이터를 버리는 것에서 실제로 이해하는 것으로 이동하는 가장 쉬운 방법 중 하나입니다.”
“간단합니다. SQL 워크벤치는 빠르고 스키마에 대해 미리 걱정할 필요가 없습니다.”
루프를 가르치세요