【暴露】AI画像モデルの「ペリカンハック(pelicanmaxxing)」問題とは
投稿日時: 2026/07/23 02:17
■ 概要・編集部サマリー
1. 【背景・画像AIベンチマーク最適化の暴露】データサイエンティスト Dylan Castillo 氏による分析コラムが公開され、大反響を呼んでいます。 2. 【焦点・「ペリカンSVG描画」テストへの過剰適合】定番の評価プロンプト「ペリカンの絵を SVG コードで出力せよ」のみにファインチューニングして見せかけのスコアを盛る「Pelicanmaxxing」の実態を追及しています。 3. 【評価・グッドハートの法則と実際のデザイン実用性】ベンチマーク高スコアと Recraft V4 等の実際のデザイン業務での使い勝手の剥離に対し、ブラインドテスト評価への移行が強く主張されました。
■ 定番評価プロンプト「Draw a Pelican in SVG」への過剰最適化
LLM や画像生成 AI の SVG コード出力能力を測る代表的ベンチマークとして定着した「ペリカンのイラストを SVG で生成せよ」というプロンプトに対し、主要 AI ラボが評価直前にその特定指示のみを過剰ファインチューニングする裏側を解き明かしています。
公開テストの数値は跳ね上がるものの、日常的なデザイン指示を出した瞬間に描画品質が急降下する過剰適合の欺瞞が告発されました。
■ グッドハートの法則（Goodhart's Law）と現場実用性の剥離
統計学の有名原則「評価指標が目標に変わった瞬間、その指標は役立たなくなる」が AI モデル競争で猛威を振るう実態を整理しました。
公表スコア上位のモデルが、グラフィックデザイン現場で人気の Recraft V4 や Midjourney の商用クオリティやベクターデータ編集容易性に及ばない構造的背景が示されています。
■ 固定ベンチマークの限界とブラインドテスト（LMSYS Arena 方式）への移行
パターン化された固定テストプロンプト集による公開ランキングの限界が認識され始めています。
未知のランダムプロンプトを用いた人間の人間ブラインド比較（Arena 評価）や、業務特化型の検証データセットによる多角的な評価設計の導入が業界全体へ強く提案されています。
海外掲示板の反応・まとめ
■ 記事『Pelicanmaxxing』の紹介。画像生成AIベンチマークの特定プロンプトハック問題とRecraft V4が語られています。
コラム『Pelicanmaxxing』めちゃくちゃ面白いw 最近の画像生成AIやSVG生成AIのベンチマークで1位獲るために、AI企業が定番プロンプト『ペリカンがカピバラ食べてるSVGを描け』だけに過剰最適化（ハック）してる疑惑暴かれてて草
>>2 LLMでいう『GSM8Kの数学テスト問題集を暗記させて高スコア出す』の画像生成版だな。特定のベンチマーク用プロンプトだけ完璧なSVGコード吐くようにファインチューニングしてる。
>>3 実際のデザイン現場でRecraft V4とかMidjourney触ってみると、ベンチマーク順位と実際の使い勝手（商用デザインのクオリティやベクター出力）が全然一致しないのそういう理由か。
>>4 『評価指標が目標になった瞬間、それは良い指標ではなくなる』というグッドハートの法則の典型例だわ。AIラボがベンチマークハックに命かけてるの虚しい。
ベンチマークでペリカンの絵が上手く描けることより、クライアントの修正指示（カラー変更やレイアウト移動）に素直に従えるモデルを作ってくれと言いたい。
自動評価用の固定プロンプト集を廃止して、ブラインドテスト（Arena方式）で人間が随時評価しないと公平なランキング維持できんな。
「Draw a pelican in SVG」が業界共通のベンチマークプロンプトになった悲劇。
モデル発表時のレーダーチャートを鵜呑みにしちゃダメ。
Recraft V4のクリーンなSVGパス出力は現場で本当に重宝する。
海外のコミュニティでも『ベンチマーク詐欺を完璧に突いた最高のエッセイだ』って海外のデザイナー達が大喝采してるぞ。
指標ハックとのいたちごっこはAI業界全体の問題。
商用デザインの修正容易性（Editable Vector）が何より重要。
Chatbot Arenaの画像版（LMArena）の評価が一番信用できる。
見せかけの数値より現場の実用性。AIの本当の価値を見抜く目が必要だな。