イベント契約
クエリが期待するフィールド
| フィールド | 種類 | なぜ存在するのか |
|---|---|---|
| timestamp_utc | Timestamp | ワークフローの結果が記録されたとき。 |
| feature | Utf8 | 安定した製品特性。 |
| model | Utf8 | プロバイダーモデルの識別子。 |
| accepted | Boolean | ユーザーが結果を受け入れたか保存したかどうか。 |
| estimated_cost_usd | Float64 | モデルリクエストのコスト。 |
クエリをコピーする
SELECT
feature,
model,
COUNT(*) AS completed_outputs,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END) AS accepted_outputs,
100.0 * SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(COUNT(*), 0) AS acceptance_rate_pct,
SUM(estimated_cost_usd) AS cost_usd,
SUM(CASE WHEN accepted = true THEN 1 ELSE 0 END)
/ NULLIF(SUM(estimated_cost_usd), 0) AS accepted_outputs_per_dollar
FROM llm_requests
WHERE timestamp_utc >= now() - INTERVAL '30 days'
GROUP BY feature, model
HAVING COUNT(*) >= 50
ORDER BY accepted_outputs_per_dollar DESC;この読み取り専用クエリは、空の型付きテーブルに対して計画され、実行されます。 アパッチ DataFusion 45.2.0。決定論的なサンプル出力は合成され、個別にレビューされます。フィールド タイプ、しきい値、ビジネス定義を独自のデータと照合して検証します。 テスト方法を読んでください。
クエリ結果
1 ドルあたりの受け入れられた出力
最大のモデルは受け入れ率では勝りますが、コスト調整後のスループットでは負けます。
| feature | model | completed_outputs | accepted_outputs | acceptance_rate_pct | cost_usd | accepted_outputs_per_dollar |
|---|---|---|---|---|---|---|
| support_draft | fast-small | 4,200 | 3,108 | 74 | 63 | 49.33 |
| document_summary | balanced-medium | 1,700 | 1,394 | 82 | 78.2 | 17.83 |
| research_report | reasoning-large | 510 | 464 | 90.98 | 215 | 2.16 |
合成出力例。運用上の決定に使用する前に、独自のイベント スキーマとしきい値に対してクエリを実行します。
例を再現する
パブリックフィクスチャをダウンロードする
JSON バンドルには、型付きイベント コントラクトが含まれています。 illustrative 入力行、正確な SQL、予想される出力、レビューメモ、およびエンジンのバージョン。 CSV には、表示された結果が含まれます。
SQL の仕組み
- 1合格率は、完成した出力の中でのみ品質を測定します。 1 ドルあたりの受け入れられる生産量により、経済効率が高まります。
- 2最小サンプルしきい値により、少数のリクエストから勝者を宣言することが回避されます。
- 3承認は、想定されるモデル品質ラベルではなく、保存、送信、適用、コピーなどの実際の製品の動作から定義する必要があります。
決定すべきエッジケース
- 破棄された出力は、後のアクションに通知する場合には依然として役立つ可能性があります。製品のコンテキストに合わせて結果シグナルを選択します。
- ワークフローの難易度によって受け入れられるかどうかが変わるため、同じ機能内のモデルを比較してください。
- 小さな差からコストのかかるモデルの移行を行う前に、信頼区間を使用してください。
推奨されるダッシュボード
- 棒グラフ: 機能およびモデル別の accepted_outputs_per_dollar
- 折れ線グラフ: acceptance_rate_pct の経時変化
- 表: モデル実験のコスト、レイテンシ、結果
アラートガイダンス
モデル、プロンプト、またはツールの変更後に受け入れ率が急激に低下した場合にアラートを送信します。ページング アラートではなくダッシュボードとしてコスト効率を確認します。
アラート設定を読むレシピを活用する
関連する機器とガイド
分析を続ける
実際のイベントで実行する
テーブルを作成し、フィールドを調整して、結果を保存します
無料で始めて、構造化されたイベントを送信し、クエリ結果をグラフ、共有ダッシュボード ウィジェット、またはアラート入力として使用します。