【悲報】老舗データサイト「TheNumbers」がAIスクレイパーの猛攻で撃沈！「毎秒数千リクエストで破産」
投稿日時: 2026/07/24 01:53
■ 概要・編集部サマリー
1. 【背景・TheNumbers.comを襲ったAIクローラー災禍】映画興行収入の独立系データベースとして長年愛されてきたが、AI企業やスクレイピングボットによる無制限アクセス爆撃を受け、サーバー停止および転送量コスト激増の緊急事態に陥った報告が公開されました。 2. 【焦点・動的SQLデータベースの枯渇とエッジ静的化】OpenAIやPerplexity等の学習・検索ボットが robots.txt を無視して数百並列でSQL検索を叩き続けた結果、データベースが即死し、Cloudflareによる静的HTML化とBot Block規制への移行を余儀なくされた実態が提示されています。 3. 【評価・オープンWebのタダ乗り問題】Web上の個人・中小メディアの帯域費用を食い荒らすAIクローラーのタダ乗り被害に対し、全Webエンジニアやサイト運営者からスコア420超え・コメント200件超えの大激論が起きています。
■ 無許諾AIクローラーによる動的データベースの直接破壊
OpenAI、Perplexity、Anthropic をはじめとするAIモデル学習用・検索用ボットが、TheNumbers の動的SQL検索エンドポイントへ数十〜数百並列でリクエストを送信しました。
一般的なWebクローラーのルールを無視した連続アクセスにより、バックエンドデータベースのCPU使用率が100%に貼り付き、一般ユーザーのアクセスが完全遮断された被害が提示されています。
■ 転送量コストの暴騰と Cloudflare / SSG エッジ自衛策
サーバーダウンに追い込まれただけでなく、巨大な映画データベースの全出力が自動クローリングされたことで月間のCDN・帯域転送量請求が暴騰しました。
対応策として、SQLへ直接アクセスさせない全ページ静的HTML化と、Cloudflare の Bot Management によるAIクローラー一括遮断のインフラ改修が急務となっています。
■ フリーライダー問題による「オープンWebの壁（Paywall）化」の危機
膨大なインフラコストとコンテンツ提供の努力を他社AIにタダ乗りされた結果、多くの独立Webメディアや個人データベースがログイン必須化や有料ウォールへ閉じこもる懸念が指摘されています。
誰でも情報へアクセスできた自由なWebエコシステムが崩壊に向かう構造的課題として世界中から警鐘が鳴らされました。
海外掲示板の反応・まとめ
■ 映画データサイト『TheNumbers.com』がAIボットの過剰スクレイピングでダウンした事故。静的化とAIボット対策が語られています。
老舗の映画興行データサイト『TheNumbers』が、AI企業やPerplexityのクローラーに動的SQLデータベースをボコボコにアクセスされてサーバー撃沈したの可哀想すぎるだろw
>>2 ほんこれ。AIボットってrobots.txt無視して数百並列でリクエスト投げてくるから、個人や中小サイトのデータベース一瞬で落ちるんよな。
>>3 解決策はデータベース直結の動的ページをやめて、全ページをCloudflare PagesかS3で静的HTML（SSG）にしてエッジでキャッシュさせるしか無い。
>>4 AI企業が他人のWebサイトの帯域とサーバー代をタダ乗りしてデータ奪っていって、サイト側はインフラ破産するの完全に泥棒だろ。
結局、現代のWebで生き残るには『ユーザー登録必須にする』か『CloudflareのBot Fight ModeでAIクローラー弾く』か『全静的化』の3択になったな。
貴重な映画の歴史データを提供してくれてる個人サイトがAIのせいで閉鎖に追い込まれるの、Webエコシステムの破壊でしかないわ。
うちの弱小ブログにも中国系やUS系のAIスクレイパーが毎秒50回アクセスしてきて焦ってCloudflare導入したわ。
robots.txtに『Disallow: /』書いても平然と無視してクローリングしてくるのホント害悪。
Cloudflareの『AI Scrapers and Crawlers』一括ブロックボタン押すだけで平和が訪れる。
Hacker Newsでもスコア420超えてて『オープンなWebがAIの強欲さによって壁（Paywall）の中に閉じ込められていく』って悲鳴があがってるぞ。
自社のAI学習のために他人のサーバー代を月に数千ドル踏み倒すビジネスモデル。絶対法規制されるべき。
Next.jsのISRとかAstroで全ページビルドしてCDNに乗せるのが現代Webの防衛策。
TheNumbersが閉鎖したら映画ファンや研究者が一番困る。
AIクローラー害悪問題。オープンWebの自由とサイト防御のバランスを考えさせられる事件だな。