【学術・自然言語処理】arXiv論文におけるAI生成テキスト率の測定：N-gram分析とプレプリントサーバーの信頼性
投稿日時: 2026/07/21 01:36
■ 概要・編集部サマリー
1. 【背景・研究】物理・数学・CS等の学術プレプリントサーバー本ニュースに投稿された論文データを分析し、約39%の最新論文にLLM特有のフレーズやAI生成テキストが含まれている実態を測定した研究レポート。 2. 【焦点・統計】「delve into」「testament to」「crucial role」などのLLM特有の頻出単語の統計的急増と、非英語圏研究者による英文校正での過度な利用。 3. 【評価・議論】学術論文におけるAI利用の是非と、粗悪なAI生成テキストによる学術コミュニケーションの品質低下。
■ 1. 背景・概要（元のニュースの全体像）
物理学、コンピュータサイエンス、数学などの世界最大のプレプリントサーバー『arXiv』に投稿された数十万本の論文に対し、LLM（大規模言語モデル）の関与度を測定するスタイロメトリー（文体統計学）分析が実施されました。
調査結果によると、2026年時点の最新論文のうち最大39%にChatGPTなどのLLMが生成・校正したと推測されるテキスト特徴が含まれていることが実証され、学術界へ大きな波紋を投げています。
■ 2. 技術的詳細・専門用語の解説（コアとなる技術の仕組み）
研究者は2022年以前の論文データセットをベースラインとして設定し、ChatGPT登場（2022年末）以降に特定の単語出現率が不自然に急増（最大10倍〜50倍）している現象を検出しました。
単なるキーワードマッチングにとどまらず、文の長さの分散やパープレキシティの平坦さを組み合わされることで、高い確率でLLM生成文を特定するデータ分析を行っています。
■ 3. なぜこのニュース・変更が重要なのか（インパクトの分析）
学術研究の「査読と信頼性」に対する危機と変化を示しているからです。非英語圏の研究者が英文校正ツールとして有効利用するポジティブな側面がある一方、無内容な論文の量産が学術データベースを汚染する懸念が浮き彫りとなりました。
今後のLLM事前学習において「自らが生成したAIテキストを再学習してモデルが劣化する」リスクを評価するデータセットとしても重要視されています。
■ 4. 実務・開発への影響（自然言語処理とコンテンツ品質評価視点）
NLPエンジニアやデータサイエンティストにとって、クローリングしたWebテキストデータセットから高品質な人間手書きテキストを抽出・フィルタリングするクレンジング技術の手法が得られます。
自社のAIツール開発において、ユーザーにAI生成感（AI感）を与えない自然なプロンプト出力・サンプリング設定（Temperature/Top-P調整）のノウハウが身につきます。
海外掲示板の反応・まとめ
arXiv論文におけるAI生成テキスト率（約39%）測定に関する海外Hacker Newsの学術議論まとめ。 LLM特有の英単語「delve」の爆発的増加、非英語圏研究者の英語校正利用、論文の質への懸念が語られています。
学術論文サーバーのarXivの全論文を統計分析したら「最新論文の39%にAI生成テキストが含まれてる」って調査結果出てて草。
>>2 論文の中に「delve（掘り下げる）」とか「testament（証）」みたいなChatGPTが狂ったように好む英単語の頻度が2023年以降に数千%跳ね上がってて笑うわ。
英語が母国語じゃない日本人や中国人の研究者が、英文校正（English Polishing）としてChatGPTに論文読ませて修正させてるのは普通に役立ってる証拠でもあるけどな。
>>4 英文法の校正ならいいけど、論文の「Abstract（要約）」や「Discussion（考察）」までAIに丸投げして、中身すっからかんのAIスロップ論文が大量生産されてるのは査読者ブチ切れるだろ。
AIが書いた論文を、AIが査読して、AIが要約する地獄のサイクルが始まりつつある。
>>6 結論：学術の信頼性を守れ！AI校正と中身の検証のバランスを意識せよ！