消すだけだと復活するデータの話: ゲームセンターと除外ルール
📌 記事の取り扱いについて（公開当時の内容を含みます — タップで詳細）
本記事は公開当時の体験・気づきをまとめたものです。現在のツール数・プラン数・対象年齢・記事数・仕様とは異なる場合があります。最新の内容は各ツールページをご確認ください。ツールや外部サービスの仕様・料金は変更されることがあるため、利用前には各公式情報も併せてご確認ください。記載に誤りを見つけられた場合はお問い合わせフォームよりご連絡いただけると助かります。
ツール工房.ai では、0〜6歳の子ども連れで行けるおでかけスポットを地図で探せるツールを公開しています。公園や動物園、児童館などを載せているのですが、ある晩のデータ取り込みで、この地図にゲームセンターが紛れ込みました。
原因は、元にしている外部の地図データ側で、その施設に付いていた分類の札が実態と違っていたことです。私の取り込み処理は札を信じて拾うので、札が違っていればそのまま入ってきます。子ども向けの地図に、ゲームセンターがテーマ施設の顔をして並んでいる。これはまずい、とすぐ削除に動きました。
今回は、このとき「削除するだけでは済まなかった」話をします。
消すだけでは、次の取り込みで戻ってくる
このツールのスポットデータは、私が一件ずつ手で集めているわけではなく、外部の公開データなどから自動で集めて、公開用の一覧に作り直す仕組みになっていました。新しいスポットが自然と増えていくのが良いところです。
ところが、この「作り直す」というのが曲者です。データを更新するたびに、外部から集めた元データを読み込み直して、公開用の一覧を組み立て直す。つまり、組み立てた後の一覧から手で削除しても、元データ側の間違った札が直らない限り、次の取り込みでまた堂々と入ってくる構造なのです。
外部データの誤りは、こちらからは直せません（正確には直す方法もあるのですが、反映されるまで待つことになります）。ということは、消すという一回きりの作業では足りない。「入ってきても弾く」仕組みを自分の側に持つ必要がありました。
「削除した結果」ではなく「削除するルール」を残す
そこで、削除するのと同時に、データを組み立てる処理そのものへ「この名前のスポットは入れない」という除外ルール、いわゆるブラックリストを組み込みました。対象の施設名を、表記ゆれも含めて数パターン登録してあります。
完成品の一覧から手で消すのは、言ってみれば「掃除した部屋の状態」だけを残すやり方です。部屋を毎回ゼロから作り直す仕組みの中では、掃除の結果は次の作り直しで消えてしまいます。残すべきは「この名前のものは部屋に入れない」というルールのほう。ルールを組み立て処理の中に書いておけば、元データに何が残っていようと、作り直すたびに自動で弾かれます。実際、それ以降この施設は戻ってきていません。
ややこしいのは、同じ系列の名前が、別の経路からは正しく入っていることです。ゲームセンターにスポーツ遊具の遊び場が併設されている店舗は、公式の店舗一覧から「室内遊び場」として意図的に収録しています。弾いているのは「外部地図データの誤った札で入ってくるぶん」だけ。地図に同じ系列の名前が残っているのは、そういう理由です。
ルールには、その後も仲間が増えた
この除外ルールには、その後も追記が続いています。あとから見つかった閉業済みのプール、元データの登録ミスとしか思えない名前、実体のない合成された名前。「一度消しても戻ってきそうなもの」を見つけるたびに、リストに足しています。
地味に効いているのが、ルールにコメントで「いつ・なぜ除外したか」を書き添えておくことです。実際のリストには「公園データの点検で確定（復活防止）」のような添え書きが日付つきで残っていて、後から見返したときに「なぜこれが入っているんだっけ」で悩まずに済んでいます。
ただし正直に書くと、これは名前の一致で弾く素朴な仕組みです。消えるのは、私がリストに書き足した名前のものだけ。別の名前で同じ種類の間違いが入ってくれば、また見つけて足すことになります。完全な自動判定にはできていません。
自動でデータを集める仕組みの宿命かもしれない
今回の件で感じたのは、データを自動で集める仕組みには「人間の手作業の修正が、自動処理に上書きされる」という宿命みたいなものがある、ということです。
自動収集はありがたい仕組みです。私一人では、全国のおでかけスポットを集めきることはとてもできません。ただ、自動で集めたデータには、どうしても場違いなものや間違いが混ざります。そして、それを見つけて直すのは結局人間です。
このとき、人間の修正を「完成品への上書き」でやってしまうと、次の自動処理でせっかくの修正が流されます。修正は「処理へのルール追加」という形で残す。手作業と自動処理を共存させるには、この置き場所の区別が大事なんだと、身をもって学びました。
似た構造は、開発以外にもある気がします。たとえば書類のひな形から毎回作り直す運用で、完成した書類のほうだけ直しても、次にひな形から作ればまた同じ間違いが出てくる。直すべきはひな形のほう、という話と同じですね。
なお、その後この「自動で集めて作り直す」仕組み自体を作り替えて、いまは新しく見つかったスポットを人のレビューを挟んでから地図に載せる形にしています。それでも「除外はルールで持つ」という考え方は、そのまま生きています。
振り返り
一連の対応は、AIに相談しながら進めました。データを組み立て直す処理の構造を一緒に追いかけてもらえたので、「消すだけでは戻ってくる」という見当が早くつきました。非エンジニアの私が一人でコードを読んでいたら、消して・戻られて・また消して、と本物のゾンビ戦をやっていた気がします。
教訓を一行でまとめると、こうなります。データは「削除した結果」ではなく「削除するルール」を残さないと戻ってくる。
地味な学びですが、自動でデータを集めて公開する仕組みを持っている人には、けっこう普遍的な話ではないかと思っています。
← 他の制作記を見る ｜ トップ ｜ お問い合わせ