データ精度を上げるレビュープロセス（スマホ料金比較で学んだこと）
📌 記事の取り扱いについて（公開当時の内容を含みます — タップで詳細）
本記事は公開当時の体験・気づきをまとめたものです。現在のツール数・プラン数・対象年齢・記事数・仕様とは異なる場合があります。最新の内容は各ツールページをご確認ください。ツールや外部サービスの仕様・料金は変更されることがあるため、利用前には各公式情報も併せてご確認ください。記載に誤りを見つけられた場合はお問い合わせフォームよりご連絡いただけると助かります。
ツール工房のツールはどれも「データ」が主役です。ホテル検索、スマホ料金比較、楽天最安値検索、子連れスポット検索、お金診断。どのツールも、信頼できるデータがないとツールとして成立しません。
特に スマホ料金比較ツール で、データ精度の難しさを痛感しました。
なお、AIに「なるべく正確に出させる」ための頼み方・プロンプトの工夫は、別記事AIに正確なデータを出させるコツに書きました。この記事はその先、出てきたデータをどう検証して公開できる状態にするか——レビュープロセスのほうに絞って書きます。
最初の AI生成データの問題
初期版のスマホ料金比較は、18ブランド・80プランのデータからスタートしました（公開後も少しずつブランド・プラン数を増やしています。現在のプラン数は公開サイト側を参照してください）。最初は AI（Claude Code）に「主要キャリアのプランを調べて整理して」と依頼して、80件分のデータを、プラン情報をまとめたファイル（plans.json）に整理してもらいました。
ところが、何度確認しても 新しい間違いが見つかる という状態でした。
- 割引込みの価格が割引前として登録されていた
- 家族割の条件が抜けていた
- すでに改定された旧プランが混ざっていた
- 容量を使い切った後の速度や、テザリングの条件が違っていた
- 国内通話オプションの有無が反映されていない
「料金比較ツール」を名乗っているのに、料金が間違っていたら使い物になりません。これは公開できない状態でした。
なぜAIだけでは難しいか
AIに「主要キャリアの料金プランを調べて」と頼むと、それなりの精度のデータは出てきます。ただ、最新の細かい条件まで完全に正確 にはなりません。
理由は：
- 古いページの情報を拾ってしまうことがある
- 公式サイトの表示の仕方（色や脚注）によって、割引前か割引後かを取り違えることがある
- 割引・家族割・キャンペーンなど、条件が複雑な情報は読み解きが難しい
- 一部、ハルシネーション（事実でない情報の生成）が混じる
AIが書いた内容を そのまま信じて公開しようとすると、間違いが残っていた という体験をしました。
レビュープロセスを入れる
そこで、データ精度を上げるためのレビュープロセスを導入しました。
ステップ1：AIで一次データを作る
まず、AI（Claude Code）に各キャリア・格安SIM事業者（MVNO）のプランを整理してもらいます。これは出発点としてのドラフト。
ステップ2：別のAI（確認役）にまとめて検証させる
ドラフトに対して、別の Claude（確認役のAI）に「各プランの条件を、各社公式サイトと照らし合わせて検証してほしい」と依頼。AIが公式ページを自動で読みに行って、データのズレを報告してもらいます。
ステップ3：報告を疑って、自分で再確認
ここが重要です。確認役のAIの「全件一致」報告を信頼しすぎない ようにしました。
実例として、IIJmio のプランで、確認役のAIが「登録されているデータ量が間違っている」と報告してきたことがありました。ところが、実際のデータと公式ページを見直したら、間違っていたのは確認役の報告のほうでした。
確認役のAIはページを自動で読み取っているのですが、ページの一部だけを見て判断したり、見落としたり、というケースがあります。この経験から、「間違っている」という指摘のほうも鵜呑みにせず、修正を当てる前にメインのClaude（または私自身）が公式ページで裏取りする ようにしました。
ステップ4：notes フィールドで例外を吸収
すべての条件を、表の決まった項目だけで完璧に表現するのは、現実的に難しいです。
そこで、各プランに補足欄（notes）を追加して、「この条件は注釈で説明する」 という運用にしました。割引・家族割・キャンペーン・特殊条件などは、notes で補足する形。
ステップ5：定期的な再検証
料金プランや条件は、けっこうな頻度で変わります。そこで、公式ページとの違いを定期的に探して、候補があれば知らせてくれる仕組みを作りました（はじめは月に1回でしたが、2026年6月からは週に1回、土曜の朝に動かしています）。自動で書き換えるのではなく、「ここが違うかも」を出してもらって、人が確認してから直すという形です。
「正確に書かない」という選択肢
データ精度を追求しすぎると、逆に情報量が減る という発見もありました。
たとえば、料金プランの「実測速度」のデータ。各社が公式に出している速度は、理論上の最大速度（ベストエフォート）で、実際にいつも出る速度とは違います。一方で、ユーザーレポートの実測値は地域・時間帯で大きく変わるので「正確」とは言えません。
完全に正確なデータがない場合、「目安として参考になる数値を出して、注意書きを十分にする」 のが現実解だと感じました。「実測速度は公式値ではなく、公開されているユーザーレポートを参考にした目安です」と明記する形です。
私による最終確認
最後に、私自身も一度ざっと目を通す ようにしました。細かい条件まで1件ずつ公式サイトと突き合わせるのは現実的ではないので、はじめは金額の大きいプランや条件が複雑そうなプランを重点的に確認しました。いまは、料金を変える候補が出てきたときに、その数字を私も公式の情報で確かめてから反映する、というルールにしています。
「AIに全部任せたい」気持ちはあるのですが、ツール公開後にユーザーから「このデータが間違っている」と指摘されるリスクを考えると、最後の人間チェックは外せません。
私が見ても気づかない間違いはありますが、それでも「AIだけ」よりは精度が上がります。
ユーザーフィードバックの組み込み
公開した後も、「このプランの条件が間違っているのでは？」と知らせてもらえるように、スマホ料金比較ページの下部の「お問い合わせ」から、掲載内容の誤りも送れるフォームへ進めるようにしています。
これは恥ずかしさより実用性を優先した結果。完璧なデータを目指すよりも、間違いを訂正できる仕組みを持つほうが、サイト全体の信頼性は上がります。
私の感想
データ精度の問題は、AIで開発するときに 避けられない壁 だと感じました。
「AIが書いてくれた → 完成」ではなく、「AIが書いてくれた → 検証 → 修正 → 再検証 → 公開」という流れにしました。これに気づくまでに、実際に間違ったデータを公開しかけた経験もあります。
非エンジニアでもAIで開発できる時代ですが、最終的な責任は人間が持つ という意識は変わらないんだなと思いました。データ系ツールを作るときは、レビュープロセスをセットで設計するのがおすすめです。
← 他の制作記を見る ｜ トップ ｜ お問い合わせ