【神ツール】数TBの「重複ファイル」を爆速で検出するCLI『DskDitto』
投稿日時: 2026/07/22 15:52
■ 概要・編集部サマリー
1. 【背景・超高速並列重複ファイル検出CLIの登場】数テラバイトのストレージから重複ファイルを一瞬で特定する Rust/C++ ツールが GitHub で公表されました。 2. 【焦点・3段階並列ハッシュパイプラインとfclones比較】サイズ比較・先頭 4KB の xxHash 判定・フル BLAKE3 ハッシュの 3 段階で NVMe SSD の読込限界まで最適化しています。 3. 【評価・作者降臨とストレージ整理効率の激変】既存の有名ツール fclones や czkawka を超える処理スピードに対し、CLI ツール好きから絶賛が集まりました。
■ 無駄な I/O を削ぎ落とす「3 段階並列パイプライン」構造
数十万個のファイルを走査する際、単に全ファイルのハッシュを計算するのではなく、「1. ファイルサイズでの一致判定」「2. 先頭 4KB の部分プレフィックスハッシュ」「3. 衝突時のみフルハッシュ計算」という 3 段階のパイプライン処理を解き明かしています。
ディスク I/O 読込コストを最小限に抑える効率的設計が示されました。
■ BLAKE3 SIMD ハッシュと NVMe マルチスレッド I/O 最適化
MD5 や SHA256 より数倍以上高速な BLAKE3 ハッシュアルゴリズムを採用し、現代の NVMe SSD が持つ並列 I/O 読み込み性能を限界まで引き出すマルチスレッド設計を整理しました。
既存の有力ツール（fclones 等）との詳細なベンチマーク比較を通じ、処理速度の決定的な優位性が実証されました。
■ ハードリンク化と誤削除を防ぐプレビュー安全設計
実ファイルを誤って削除することを防止するプレビューモード（`--dry-run`）や、ストレージ容量を節約するためのハードリンク自動置換機能が完備されている点が高く評価されています。
写真ライブラリや動画データの複数バックアップ整理に悩むストレージ管理者や開発者にとって、一級のインフラツールとして称賛されています。
海外掲示板の反応・まとめ
■ 重複ファイル検出ツール『dskDitto』の紹介。3段階並列ハッシュパイプラインとfclones比較が語られています。
超高速の重複ファイル検索ツール『dskDitto』出たぞ！数TBのSSDから重複ファイルを数秒で洗い出すの爆速すぎるw 作者がHNに降臨して技術解説してる。
>>2 検索の仕組みが賢いんよ。①まずファイルサイズで絞り込み → ②サイズが同じやつだけ先頭4KBをxxHashでプレフィックスハッシュ比較 → ③一致したやつだけ全ハッシュ計算、の3段階パイプラインだからディスクIOが無駄にならない。
>>3 既存の最強ツール『fclones』やGUIの『czkawka』とどっちが速い？って質問に、作者が『NVMe SSDのマルチスレッド読込限界まで最適化してるからdskDittoの方が1.5倍速い』ってベンチマーク出してて激熱。
>>4 写真や動画のバックアップが複数HDDに散らばって重複しまくってるから、この手の一括削除ツール助かるわ。
スレッドプールと非同期IOの使い方が洗練されててコード読むだけでも勉強になるわ。
地味だけど日常で一番役立つ神CLIツール作った作者に感謝。
BLAKE3ハッシュのSIMD並列化アクセラレーション。
ファイル末尾（Suffix）ハッシュ追加による精度向上提案。
シンボリックリンクやハードリンクのスマート処理。
海外のコミュニティでも『写真ライブラリの重複が一瞬で消えた』って海外のユーザー達が大歓喜してるぞ。
安全なプレビュー確認モード（--dry-run）の安心感。
メモリフットプリントを最小限に抑えるストリーミングハッシュ。
Cross-platform（Linux/Mac/Windows）サポートの完璧さ。
ディスク整理の強力な相棒。極限のパフォーマンスを追求するオープンソースの鑑だな。