첫 번째 대시보드 및 알림 만들기
대시보드는 검토된 답변을 유지해야 합니다. 알림은 소유자와 유용한 응답이 있는 조건을 식별해야 합니다. 단순히 차트가 그럴듯해 보인다는 이유만으로 확인되지 않은 쿼리를 승격시키지 마세요.
이 연습은 첫 번째 Telemetry SQL 쿼리 작성의 요청량 및 오류율 SQL부터 시작됩니다.
하나의 의사결정 지향 위젯 만들기
Telemetry에서 쿼리를 실행하고 결과와 일치하는 차트를 선택한 다음 대시보드에 추가를 선택합니다.
API 오류율 결과의 경우:
- 시간이 기본 측정기준인 경우 선 차트를 사용하세요.
- 작은 경로 템플릿 집합을 비교할 때 막대 차트를 사용합니다.
- 정확한 값, 볼륨 임계값 및 여러 측정값을 계속 표시해야 하는 경우 테이블을 사용합니다.
구현이 아닌 결정 후에 위젯의 이름을 지정하세요. "API 경로별 서버 오류율"이 "쿼리 7"보다 더 명확합니다.
분모를 보이도록 유지하세요. 요청 하나에 오류가 1개 있는 경로는 요청 10,000개에 오류가 500개 있는 경로보다 자동으로 순위가 높아져서는 안 됩니다. 요청 볼륨과 오류 비율을 모두 포함하거나 SQL에 최소 볼륨 조건을 적용합니다.
첫 번째 대시보드를 작게 유지
유용한 첫 번째 신뢰성 대시보드에는 다음이 포함될 수 있습니다.
- 시간이 지남에 따라 볼륨을 요청합니다.
- 시간 경과에 따른 서버 오류 비율입니다.
- 경로별 p95 대기 시간.
- 상위 오류 카테고리 또는 지문.
- 해당 액세스가 승인된 경우에만 영향을 받는 계정의 표입니다.
각 위젯은 검사 가능한 행이나 저장된 SQL로 다시 연결되어야 합니다. 여러 차트 스타일에서 동일한 메트릭을 반복하지 마세요.
레이아웃 및 소유권 지침은 대시보드 만들기를 참조하세요.
제한된 알림 만들기
하나의 시계열 선으로 시작합니다. x축에는 시간, y축에는 하나의 숫자 메트릭이 있고 그룹화나 분할은 없습니다. Telemetry는 임계값, 최근 포인트 창, 상태 및 알림이 모두 하나의 정렬된 신호를 참조하기 때문에 이 좁은 차트 형태에 대해 알림 생성만 제공합니다. 그룹화된 차트에서는 선, 모든 선 또는 각 선이 독립적으로 알림을 제어하는지 여부가 불분명해집니다.
대시보드에서 여러 줄 비교를 유지하세요. 알림의 경우 하나의 모집단으로 필터링하거나, 의도적으로 그룹을 집계하거나, 그룹에 다른 임계값이나 소유자가 필요한 경우 별도의 알림을 만듭니다. 전체 근거와 예는 알림를 참조하세요.
검증된 단선형 차트 또는 쿼리 결과를 열고 알림 생성을 선택합니다. 정의:
- 집계 및 측정값입니다.
- 평가할 마지막 데이터 포인트 수입니다.
- 비교 및 임계값.
- 평가 간격입니다.
- 불완전한 최신 버킷을 무시할지 여부입니다.
- 응답을 소유한 수신자입니다.
합성 개발 테이블의 경우 비페이징 이메일 알림으로 시작하세요. 프로덕션 예는 다음과 같습니다.
p95 of the last 5 completed data points is greater than 850 ms
또는:
server_error_pct is greater than 5% and requests is at least 100
정확한 임계값은 서비스 목표, 트래픽 패턴 및 응답 정책에 따라 다릅니다. 복사된 숫자는 기준선을 대체할 수 없습니다.
조건의 양면 테스트
다음을 수행해야 하는 제어된 합성 이벤트를 보냅니다.
- 알림을 임계값 아래로 둡니다.
- 결과를 임계값 위로 이동합니다.
- 예상 수신자에게 알림을 생성합니다.
- 회복 후 임계값 이하로 돌아갑니다.
쿼리, 임계값, 수신자 및 응답 링크를 기록합니다. 그런 다음 프로덕션 보고에서 합성 행을 제거하거나 명확하게 격리합니다.
응답 정의
모든 알림에는 간단한 조치가 필요합니다.
- 관련 대시보드를 엽니다.
- 영향을 받는 경로, 릴리스 및 계정을 검사합니다.
- 요청 또는 워크플로 식별자와 연관시키세요.
- 완화할지, 롤백할지, 계속 관찰할지 결정하세요.
- 복구 시간과 고객 영향을 별도로 기록합니다.
알림 동작 및 문제 해결에 대해서는 알림 및 알림 전달 및 문제 해결을 읽어보세요. 계측을 광범위하게 배포하기 전에 프로덕션 계측 체크리스트를 완료하세요.