Agency実戦手記：AIプラットフォーム効果測定のために、コア方法論をツール化した話

ツールを構築する前の私たちの日常ワークフローを描写しましょう：

手動プロセス（クライアント1社あたり、週次）：

• •3-5の異なるAIプラットフォームを開く（ChatGPT、Claude、Perplexity、SearchGPT）

• •クライアントの業界に関連する20-30のテストクエリを手動入力

• •AI応答を行ごとに読み、ブランド言及を探す

• •各言及を分類：メイン回答内か、引用のみか？肯定的、中立的、否定的なトーン？

• •証拠としてすべてスクリーンショット

• •データをExcelスプレッドシートにコピー&ペースト

• •クライアント向けレポートにまとめる

時間コスト： クライアント1社あたり週4-6時間

拡張性： 5クライアントを超えると悪夢

最悪の部分は？私たちはAIマーケティングの専門家のはずなのに、最も手動で反復的な作業に縛られていたことです。核兵器の時代に第二次世界大戦の戦い方をしているようなものでした。

8番目のクライアントがサインした時、私は2つの選択肢があることを知りました：ジュニアスタッフを雇ってこれを手動で続ける（問題に人を投入する）か、自動化で適切に解決するか。

私は自動化を選びました。

このツールの構築は、単にAPIを呼び出すことではありませんでした。難しいのは、経験豊富なマーケターのように結果を「読む」ようにコードに教えることでした。

数ヶ月の手動作業の後、AI応答を分析する際、実際には3つのことしか見ていないことに気づきました。そこで、これら3つのパターンをllmoai.netのロジックにエンコードしました：

1. キーワードヒットと位置（可視性ロジック）

手動チェックの際、クライアントが最初の段落で言及されているか、リストの最後に埋もれているかを気にしていました。

現在のロジックは以下のように機能します：

• •プログラムが生成された応答を自動スキャンし、クライアントURLまたはブランドキーワードを検索

• •「トップ推奨」セクションに表示される場合：重みが2倍

• •「参考」リンクとしてのみ表示される場合：重みが減少

• •位置スコアリング：トップ3の言及 = プレミアム可視性スコア

例：ChatGPTが「CRMツールには、SalesforceとHubSpotが人気ですが、[あなたのブランド]はより良い価格設定を提供します」と推奨した場合、あなたのブランドは「代替推奨」としてフラグが立てられ、中～高の可視性を得ます。

2. 自動感情分析

これが最も労働集約的な部分でした。LLMは時々外交的に話すため、トーンの判断が難しいです。

NLP分析レイヤーを統合し、「空気を読む」ことに特化させました。もう推測は不要—プログラムが形容詞の極性を分析します。

ケース例：

• •「価格は高いが、機能は充実」 → 中立-肯定的 として識別

• •「ユーザーがプライバシーの懸念を報告」 → 否定的 として識別（高警戒フラグ）

• •「業界をリードするパフォーマンス」 → 強い肯定的 として識別

• •「カスタマーサポートが限定的」 → 否定的 として識別（特定の弱点フラグ）

システムは言及をカウントするだけでなく、文脈を理解します。

3. 引用抽出とソース分析

PerplexityとSearchGPTのコア価値は引用にあります。以前は各脚注マーカーを個別にクリックしてソースを確認していました。

今、ツールは自動的に：

• •すべての引用を抽出

• •重複排除と分類

• •競合がどの記事から引用されているかを正確に表示

この単一機能は、競合インテリジェンスの金鉱となっています。「競合Xはこれら3つのブログ投稿のおかげで引用されている」—そして、どのコンテンツギャップを埋めるべきかを正確に知ることができます。

元々、これは週次レポートのために実行するターミナルベースのPythonスクリプトでした。

しかし、SEOやマーケティングのサークルにいる全員が同じ痛点を持っていることに気づきました。そこで、フロントエンドインターフェースでラップし、オンラインにデプロイするために時間を費やしました。

新しいワークフロー（簡素化）：

1. URLを入力

2. バックエンドが主流AIモデル全体で自動クエリ

3. 包括的な分析結果を出力

時間コスト： 2分（4-6時間から短縮）

主な機能：

• •マルチプラットフォームカバレッジ： ChatGPT、Claude、Perplexity、Google AI Overviews

• •自動感情スコアリング： 肯定的/中立的/否定的分類と信頼度スコア

• •引用ソース追跡： AIモデルがどのURLから引用しているかを正確に確認

• •競合ベンチマーキング： ブランドのAI可視性を競合と比較

• •履歴追跡： AI言及の経時的変化を監視

• •アラートシステム： 否定的な言及が表示された時に通知

これが、llmoai.netが誕生した経緯です。

この記事はセールスピッチではありません（基本機能は現在無料です）。AIマーケティング分野の多くの人がまだ原始的な方法で働いているため、これを公開しています。

Agencyを運営している場合、または独立開発者やサイト所有者で「AIが自分のウェブサイトについてどう話しているか全くわからない」と苦労している場合、このツールを試してみてください。

完璧ではありません。インターフェースはシンプルです。しかし、少なくとも私をExcel地獄から救出してくれました。

誰が使うべきか：

• •Agencyチーム： 手動監視にジュニアスタッフの時間を消費するのをやめる

• •ブランドマネージャー： AIがブランドをどのように表現しているかを24時間365日把握

• •SEOプロフェッショナル： どのコンテンツがAI引用を促進するかを理解

• •プロダクトチーム： AI応答での競合ポジショニングを追跡

• •コンテンツクリエイター： コンテンツがAIトレーニングに含まれるかを検証

実際のAgencyユースケース：

現在、すべてのクライアントに対して毎週月曜日の朝にllmoai.netスキャンを実行しています。火曜日までに、実行可能な洞察があります：

• •クライアントA：批判的なRedditスレッドが引用されたことによる否定的感情の急増—即座に対処

• •クライアントB：カテゴリクエリでトップ3から「言及あり」に低下—コンテンツリフレッシュ戦略をトリガー

• •クライアントC：競合が引用数で追い越した—3つの主要記事を特定し、より良い代替案を作成

この種のスピードと明確さは、手動監視では不可能でした。

使用中にバグが見つかった場合、または追加の分析次元に関する提案がある場合は、コメント欄またはウェブサイトでお知らせください。

AIマーケティングをもっと楽にしましょう—一緒に。