エージェント分析
エージェント分析について
エージェント分析とは
エージェント分析は、AI クローラーがサイトのどのページを、いつ、どのように取得しているかを調べるための分析です。JavaScript ベースの計測だけでは捉えにくいアクセスを、サーバーや CDN のリクエストログから確認します。
従来のアクセス解析との違い
| 人間向けの計測が想定する動作 | AI クローラーで異なる点 |
|---|---|
| JavaScript の実行 | JavaScript を実行せず取得する場合がある |
| Cookie とセッションの維持 | セッション状態を維持しない場合がある |
| ブラウザでの回遊 | 専用クローラーでコンテンツを取得する |
| 一定の閲覧パターン | 検索・学習・リアルタイム回答など目的によって変わる |
AI アクセスを捉える仕組み
- サーバー側で取得：インフラが処理したリクエストをログとして収集します。
- CDN と連携：キャッシュから返したリクエストも CDN 側で観測します。
- クローラーの識別：User-Agent に加え、IP や DNS などの検証方法を組み合わせます。
- 集計と分析：収集したログを時刻、ページ、クローラーで比較します。
取得範囲は配信元とログ設定に依存します。オリジンサーバーだけのログでは、CDN キャッシュで完結したリクエストを観測できない場合があります。
対象となる AI プラットフォーム
AI プラットフォームには OpenAI、Anthropic、Google、Perplexity、Microsoft、Apple、Meta、DeepSeek などがあります。クローラーごとに識別方法と確度が異なるため、クローラー検証を確認してください。
導入方法
CDN との連携
CDN を利用しているサイトでは、CDN のログ配信機能から接続します。キャッシュに到達したアクセスも含めて観測でき、プロバイダーごとのログ形式を利用します。
CloudflareLogpush または Worker の条件を確認します。
VercelConnectable Account の設定を確認します。Amazon CloudFrontData Firehose でログを配信します。
FastlyHTTPS ログエンドポイントを設定します。
サーバーから直接連携する
CDN を利用しない場合は、サーバーログを カスタム連携 の形式で送信する方法を確認します。インフラに固有の要件がある場合は、ログ取得位置と必要なフィールドを先に整理します。
主な分析項目
AI クローラー分析
- クローラーの識別と分類
- クロールイベントの時系列
- アクセスパターンと傾向
- ページの取得範囲と未取得箇所
パフォーマンス指標
- レスポンス時間
- コンテンツへのアクセス可否
- キャッシュの利用状況
- AI アクセスの地域分布