パソコンを長く使っていると、同じ写真やPDF、文書ファイルなどが複数保存されてしまうことがあります。
例えば、スマートフォンから写真を何度も取り込んだり、メールの添付ファイルをダウンロードしたりすると、気付かないうちに同じファイルが増えてしまいます。
重複ファイルが増えると、ストレージ容量を無駄に消費するだけでなく、必要なファイルを探すときにも時間がかかります。
そこで便利なのが、Pythonを使った重複ファイルの自動検出です。
Pythonを使えば、指定したフォルダ内のファイルを自動的に調べ、内容が同じファイルをまとめて見つけることができます。
さらに、検出したファイルをCSV形式で保存すれば、Excelなどで一覧を確認することも可能です。
この記事では、Python初心者でも実践できるように、重複ファイルを検出する仕組みから、実際に動かせるプログラム、応用方法まで詳しく解説します。
プログラミングの経験が少ない方でも、順番に進めれば重複ファイル検出プログラムを作成できます。
Pythonで重複ファイルを自動検出する仕組み
最初に、Pythonがどのような方法で重複ファイルを見つけるのかを確認しておきましょう。
重複ファイルとは、同じ内容のデータが複数の場所に保存されているファイルのことです。
例えば、次のような状態です。
- photo.jpg
- photo_copy.jpg
- photo_backup.jpg
ファイル名は異なりますが、中身がまったく同じ写真であれば重複ファイルと判断できます。
反対に、ファイル名が同じでも内容が異なる場合は、別のファイルとして扱う必要があります。
Pythonでは、ファイル名だけでなく、ファイルサイズやハッシュ値を利用することで、より正確に重複ファイルを検出できます。
ファイル名だけでは重複を判断できない理由
ファイル名だけを使って重複を探す方法には問題があります。
例えば、次の2つのファイルを考えてみましょう。
- document.pdf
- document_copy.pdf
名前は違いますが、実際の内容が同じ可能性があります。
逆に、次のようなファイルは名前が同じでも中身が違う場合があります。
- report.pdf
- report.pdf
このようなケースを考えると、ファイル名だけで重複を判断するのは適切ではありません。
そのため、ファイルの中身を比較する方法が必要になります。
ファイルサイズを使って重複候補を絞り込む
最初に利用するのがファイルサイズです。
同じ内容のファイルであれば、基本的にファイルサイズも同じになります。
例えば、次のようなファイルがあるとします。
| ファイル名 | ファイルサイズ |
|---|---|
| photo1.jpg | 2MB |
| photo2.jpg | 2MB |
| document.pdf | 1MB |
| memo.txt | 5KB |
photo1.jpgとphoto2.jpgは同じサイズなので、重複している可能性があります。
ただし、ファイルサイズが同じだからといって、必ずしも内容が同じとは限りません。
そこで、次の段階でハッシュ値を利用します。
ハッシュ値を使ってファイルの内容を比較する
ハッシュ値とは、データから計算される一定の長さの文字列です。
同じ内容のファイルであれば、同じハッシュ値が生成されます。
Pythonでは、標準ライブラリのhashlibを使うことで、ファイルのハッシュ値を計算できます。
今回は、広く利用されているSHA-256という方式を使用します。
例えば、同じ内容のファイルから計算した場合、次のようになります。
| ファイル | ハッシュ値 |
|---|---|
| photo1.jpg | abc123… |
| photo2.jpg | abc123… |
| document.pdf | xyz789… |
photo1.jpgとphoto2.jpgは同じハッシュ値なので、内容が同じファイルと判断できます。
このように、ファイルサイズで候補を絞り込み、ハッシュ値で内容を比較することで、効率よく重複ファイルを検出できます。
Pythonで自動化するメリット
Pythonで重複ファイルを検出すると、次のようなメリットがあります。
- 大量のファイルをまとめて調べられる
- ファイル名が違っていても検出できる
- 写真やPDFなど、さまざまなファイルに対応できる
- 複数のフォルダを一括で確認できる
- 検出結果をCSVに保存できる
- 定期的なファイル整理にも活用できる
一度プログラムを作成すれば、次回からは同じコードを実行するだけで重複ファイルを確認できます。
Pythonで重複ファイルを検出する準備
ここからは、実際にPythonを使って重複ファイルを検出する準備を進めていきましょう。
今回のプログラムでは、Pythonの標準ライブラリを使用します。
そのため、基本的には追加のライブラリをインストールする必要はありません。
Pythonの実行環境を準備する
Pythonをまだインストールしていない場合は、公式サイトからダウンロードできます。
インストールが完了したら、コマンドプロンプトやターミナルを開き、次のコマンドを入力します。
python --versionPythonのバージョンが表示されれば準備完了です。
環境によっては、次のコマンドを使用します。
python3 --version今回使用するライブラリ
今回のプログラムでは、次の標準ライブラリを使用します。
| ライブラリ | 用途 |
|---|---|
| pathlib | ファイルやフォルダの操作 |
| hashlib | ハッシュ値の計算 |
| collections | データのグループ化 |
| csv | CSVファイルの作成 |
| os | ファイル情報の取得 |
これらはPythonに標準で用意されているため、通常はpipによる追加インストールは不要です。
検出対象のフォルダを準備する
最初に、重複ファイルを検出するための練習用フォルダを作成します。
今回は、次のようなフォルダ構成にします。
duplicate_check/
│
├── sample_files/
│ ├── photo1.txt
│ ├── photo2.txt
│ ├── document.txt
│ ├── document_copy.txt
│ └── memo.txt
│
└── duplicate_check.pyファイルの中身は次のようにします。
photo1.txt
これは重複ファイル検出の練習用データです。photo2.txt
これは重複ファイル検出の練習用データです。document.txt
Pythonでファイルを管理する方法を学びます。document_copy.txt
Pythonでファイルを管理する方法を学びます。memo.txt
これは別の内容のファイルです。この状態では、photo1.txtとphoto2.txt、document.txtとdocument_copy.txtがそれぞれ重複しています。
最初はテキストファイルで練習し、動作を確認してから写真やPDFなどに応用すると理解しやすくなります。
Pythonで重複ファイルを検出する基本プログラム
まずは、重複ファイルを検出するための基本的な処理を確認します。
いきなり複雑なプログラムを作るのではなく、ファイル一覧の取得、サイズの確認、ハッシュ値の計算という順番で進めていきましょう。
フォルダ内のファイルを一覧取得する
最初に、指定したフォルダに保存されているファイルを取得します。
Pythonでは、pathlibを使うと簡単にフォルダ内のファイルを調べられます。
from pathlib import Path
folder = Path("sample_files")
files = list(folder.rglob("*"))
for file in files:
if file.is_file():
print(file)実行すると、フォルダ内にあるファイル名が表示されます。
sample_files/photo1.txt
sample_files/photo2.txt
sample_files/document.txt
sample_files/document_copy.txt
sample_files/memo.txtrglob(“*”)は、指定したフォルダとその下にあるサブフォルダを含めてファイルを検索するための処理です。
file.is_file()を使うことで、フォルダではなくファイルだけを取り出しています。
ファイルサイズを取得する
次に、それぞれのファイルサイズを確認します。
from pathlib import Path
folder = Path("sample_files")
for file in folder.rglob("*"):
if file.is_file():
size = file.stat().st_size
print(file.name, size, "バイト")実行すると、ファイル名とサイズが表示されます。
photo1.txt 90 バイト
photo2.txt 90 バイト
document.txt 68 バイト
document_copy.txt 68 バイト
memo.txt 45 バイト※サイズは練習用ファイルの実際の内容や文字コードによって変わります。
ここで重要なのは、同じファイルサイズのものを重複候補として扱えることです。
ファイルサイズが異なる場合は、内容が完全に同じファイルではありません。
ハッシュ値を計算する
次に、hashlibを使ってファイルのハッシュ値を計算します。
import hashlib
def calculate_hash(file_path):
sha256 = hashlib.sha256()
with open(file_path, "rb") as file:
while True:
data = file.read(4096)
if not data:
break
sha256.update(data)
return sha256.hexdigest()この関数では、ファイルを4096バイトずつ読み込み、SHA-256のハッシュ値を計算しています。
一度にファイル全体を読み込むのではなく、少しずつ読み込むことで、大きなファイルにも対応しやすくなります。
主な処理を確認しましょう。
- hashlib.sha256():SHA-256の計算を開始する
- open(file_path, “rb”):ファイルをバイナリ形式で開く
- file.read(4096):4096バイトずつ読み込む
- sha256.update(data):読み込んだデータを計算に追加する
- sha256.hexdigest():計算したハッシュ値を文字列で取得する
これで、ファイルの内容を比較する準備ができました。
同じハッシュ値のファイルをまとめる
次に、ファイルサイズとハッシュ値を使って、重複ファイルをグループ化します。
from pathlib import Path
from collections import defaultdict
import hashlib
def calculate_hash(file_path):
sha256 = hashlib.sha256()
with open(file_path, "rb") as file:
while True:
data = file.read(4096)
if not data:
break
sha256.update(data)
return sha256.hexdigest()
folder = Path("sample_files")
size_groups = defaultdict(list)
for file in folder.rglob("*"):
if file.is_file():
size = file.stat().st_size
size_groups[size].append(file)
hash_groups = defaultdict(list)
for size, files in size_groups.items():
if len(files) < 2:
continue
for file in files:
file_hash = calculate_hash(file)
hash_groups[file_hash].append(file)
for file_hash, files in hash_groups.items():
if len(files) > 1:
print("重複ファイル:")
for file in files:
print(file)このプログラムでは、最初にファイルサイズが同じものをグループ化しています。
その後、同じサイズのファイルだけハッシュ値を計算し、同じハッシュ値を持つファイルをまとめています。
これにより、すべてのファイルを無条件に比較するよりも効率よく処理できます。
実践!重複ファイルを自動検出する完全版コード
ここまでの内容をまとめて、実際に使える重複ファイル検出プログラムを作成します。
今回は、次の機能を搭載します。
- 指定フォルダ内のファイルを検索
- サブフォルダも含めて検索
- ファイルサイズで候補を絞り込み
- SHA-256でファイル内容を比較
- 重複ファイルをグループ化
- 検出結果を画面に表示
重複ファイル検出プログラム
以下のコードをduplicate_check.pyという名前で保存してください。
from pathlib import Path
from collections import defaultdict
import hashlib
def calculate_hash(file_path):
"""ファイルのSHA-256ハッシュ値を計算する"""
sha256 = hashlib.sha256()
with open(file_path, "rb") as file:
while True:
data = file.read(1024 * 1024)
if not data:
break
sha256.update(data)
return sha256.hexdigest()
def find_duplicates(folder_path):
"""指定フォルダ内の重複ファイルを検出する"""
folder = Path(folder_path)
if not folder.exists() or not folder.is_dir():
print("指定されたフォルダが見つかりません。")
return {}
size_groups = defaultdict(list)
print("ファイルを検索しています...")
for file in folder.rglob("*"):
if not file.is_file():
continue
try:
size = file.stat().st_size
size_groups[size].append(file)
except OSError as error:
print(f"ファイル情報を取得できません: {file}")
print(error)
hash_groups = defaultdict(list)
print("ファイルの内容を比較しています...")
for size, files in size_groups.items():
if len(files) < 2:
continue
for file in files:
try:
file_hash = calculate_hash(file)
hash_groups[file_hash].append(file)
except OSError as error:
print(f"読み込みに失敗しました: {file}")
print(error)
duplicates = {}
for file_hash, files in hash_groups.items():
if len(files) > 1:
duplicates[file_hash] = files
return duplicates
def display_duplicates(duplicates):
"""重複ファイルを画面に表示する"""
if not duplicates:
print("重複ファイルは見つかりませんでした。")
return
total_files = 0
print("\n重複ファイルが見つかりました。\n")
for number, files in enumerate(duplicates.values(), start=1):
print(f"【重複グループ {number}】")
for file in files:
print(file)
total_files += 1
print()
print("検出結果")
print(f"重複グループ数:{len(duplicates)}")
print(f"重複ファイル数:{total_files}")
# 検出対象のフォルダ
target_folder = "sample_files"
# 重複ファイルを検出
duplicates = find_duplicates(target_folder)
# 結果を表示
display_duplicates(duplicates)プログラムの実行方法
コードを保存したら、コマンドプロンプトまたはターミナルを開きます。
duplicate_check.pyを保存したフォルダに移動して、次のコマンドを実行してください。
python duplicate_check.py実行すると、指定したsample_filesフォルダ内のファイルを調べ、重複しているファイルを表示します。
実行結果の例
先ほど準備した練習用ファイルを使うと、次のような結果になります。
ファイルを検索しています...
ファイルの内容を比較しています...
重複ファイルが見つかりました。
【重複グループ 1】
sample_files/photo1.txt
sample_files/photo2.txt
【重複グループ 2】
sample_files/document.txt
sample_files/document_copy.txt
検出結果
重複グループ数:2
重複ファイル数:4これで、重複ファイルを自動的に検出できました。
プログラムの重要なポイント
今回のプログラムで特に重要なのは、次の3つです。
1. pathlibでフォルダ内を検索する
for file in folder.rglob("*"):この処理によって、指定したフォルダ内にあるファイルを順番に取得しています。
rglobを使うことで、下の階層にあるサブフォルダも検索できます。
2. ファイルサイズで候補を絞り込む
if len(files) < 2:
continue同じサイズのファイルが1つしかない場合は、重複している可能性がないため、ハッシュ値の計算を省略します。
これによって、無駄な処理を減らせます。
3. ハッシュ値で内容を比較する
file_hash = calculate_hash(file)ここで計算したハッシュ値を使って、ファイルの内容を比較しています。
同じSHA-256ハッシュ値を持つファイルを重複候補としてまとめています。
通常のファイル整理では、実用的な精度で同一内容のファイルを検出できます。
検出した重複ファイルをCSVに出力する方法
重複ファイルが少ない場合は、画面に表示するだけでも問題ありません。
しかし、数百個や数千個のファイルを調べる場合、画面だけで確認するのは大変です。
そこで便利なのが、CSV形式で結果を保存する方法です。
CSVファイルに出力しておけば、Excelなどで一覧を確認できます。
CSVファイルに保存するメリット
CSV形式で保存すると、次のようなメリットがあります。
- 重複ファイルを一覧で確認できる
- Excelで並べ替えや検索ができる
- ファイルの保存場所を確認しやすい
- 削除や移動の候補を整理できる
- 検出結果を記録として残せる
PythonでCSV出力するコード
先ほどのプログラムにCSV出力機能を追加します。
import csv
from pathlib import Path
def export_duplicates_to_csv(duplicates, output_file):
"""重複ファイルの一覧をCSVに保存する"""
with open(
output_file,
"w",
newline="",
encoding="utf-8-sig"
) as file:
writer = csv.writer(file)
writer.writerow([
"グループ番号",
"ファイル名",
"保存場所",
"ファイルサイズ"
])
for number, files in enumerate(
duplicates.values(),
start=1
):
for path in files:
writer.writerow([
number,
path.name,
str(path.resolve()),
path.stat().st_size
])
print(f"CSVファイルを保存しました: {output_file}")この関数を先ほどの完全版コードに追加し、最後の実行部分を次のように変更します。
target_folder = "sample_files"
duplicates = find_duplicates(target_folder)
display_duplicates(duplicates)
export_duplicates_to_csv(
duplicates,
"duplicate_list.csv"
)実行すると、duplicate_list.csvというファイルが作成されます。
CSVの出力結果
CSVファイルには、次のような情報が保存されます。
| グループ番号 | ファイル名 | ファイルサイズ |
|---|---|---|
| 1 | photo1.txt | 90 |
| 1 | photo2.txt | 90 |
| 2 | document.txt | 68 |
| 2 | document_copy.txt | 68 |
※ファイルサイズはサンプルです。実際の結果はファイルの内容によって変わります。
Excelで開けば、重複しているファイルをグループごとに確認できます。
encoding=”utf-8-sig”を指定しているため、Windows版Excelでも日本語が文字化けしにくくなります。
Pythonで重複ファイル検出を応用する方法
基本的なプログラムが完成したら、さらに便利な機能を追加してみましょう。
ここでは、実際のファイル整理に役立つ応用方法を紹介します。
複数フォルダをまとめて検索する
例えば、次のような複数のフォルダをまとめて調べたい場合があります。
my_files/
├── photos/
├── documents/
├── downloads/
└── backups/このような場合は、my_filesを検索対象に指定すれば、下にあるフォルダもまとめて検索できます。
target_folder = "my_files"
duplicates = find_duplicates(target_folder)
display_duplicates(duplicates)今回のプログラムではrglobを使用しているため、サブフォルダも自動的に検索できます。
特定の拡張子だけを対象にする
写真だけ、PDFだけなど、特定の種類のファイルを調べたい場合もあります。
pathlibのsuffixを使うと、拡張子による絞り込みができます。
例えば、JPEG画像だけを対象にする場合は次のようにします。
from pathlib import Path
folder = Path("sample_files")
for file in folder.rglob("*"):
if file.is_file() and file.suffix.lower() in [
".jpg",
".jpeg"
]:
print(file)PDFファイルだけを調べたい場合は、対象を”.pdf”に変更します。
if file.suffix.lower() == ".pdf":
print(file)この方法を使えば、必要なファイルだけを効率よく確認できます。
大容量ファイルにも対応する
写真や動画など、容量の大きなファイルを調べる場合は、メモリの使い方にも注意が必要です。
今回のプログラムでは、ファイルを一度にすべて読み込むのではなく、一定のサイズに分けて読み込んでいます。
data = file.read(1024 * 1024)これは1MBずつ読み込む処理です。
このように分割して読み込むことで、大容量ファイルでもメモリを過度に消費せずにハッシュ値を計算できます。
定期的に重複ファイルをチェックする
重複ファイルは、一度整理しても新しいファイルを保存するうちに再び増えていきます。
そこで、定期的にPythonプログラムを実行する方法もおすすめです。
例えば、毎週1回プログラムを実行して、重複ファイルの一覧をCSVに保存すれば、ファイルの増加状況を確認できます。
Windowsの場合はタスクスケジューラ、macOSやLinuxの場合はcronなどを利用することで、定期実行を自動化できます。
最初は手動で実行し、正常に動作することを確認してから自動実行に進むと安心です。
検出したファイルを安全に整理する
重複ファイルが見つかったら、不要なファイルを整理することもできます。
ただし、重複しているからといって、すぐに削除するのはおすすめできません。
例えば、同じ内容のファイルでも、保存場所によって利用目的が異なる場合があります。
- 仕事用フォルダに保存しているファイル
- バックアップ用フォルダに保存しているファイル
- アプリケーションが参照しているファイル
このようなファイルを誤って削除すると、必要なデータが失われたり、プログラムが正常に動かなくなったりする可能性があります。
最初は削除せず、CSVに出力して内容を確認する方法がおすすめです。
必要に応じて、バックアップを取ってから手動で整理しましょう。
重複ファイル検出で注意したいポイント
Pythonを使えば簡単に重複ファイルを検出できますが、実際に使用する際にはいくつか注意点があります。
同じファイル名でも内容が異なる場合がある
ファイル名が同じだからといって、必ずしも同じ内容とは限りません。
例えば、次のようなファイルです。
project/
├── report.pdf
└── backup/
└── report.pdf一方は最新の資料、もう一方は古い資料かもしれません。
そのため、ファイル名ではなく、ファイルの内容を比較することが重要です。
ハッシュ値による比較の注意点
SHA-256は、同じ内容のデータから同じハッシュ値を生成する仕組みです。
異なる内容のデータで同じハッシュ値になる可能性は理論上ゼロではありませんが、SHA-256では実用上極めて小さいとされています。
一般的なファイル整理では十分に実用的な方法です。
システムファイルを誤って操作しない
パソコン全体を検索対象にすると、WindowsやmacOSのシステム関連フォルダまで調べてしまう可能性があります。
システムファイルやアプリケーション関連ファイルは、重複しているように見えても、削除すると動作に影響する場合があります。
そのため、最初は自分で管理している写真や文書のフォルダだけを対象にしましょう。
削除前にバックアップを取る
重複ファイルを検出できても、削除するファイルを間違える可能性があります。
特に、写真や仕事の資料など、大切なデータを扱う場合は注意が必要です。
削除する前に、次の手順をおすすめします。
- 重複ファイルの一覧をCSVに保存する
- ファイルの保存場所を確認する
- 必要なファイルが含まれていないか確認する
- 重要なデータをバックアップする
- 不要だと判断したファイルだけを手動で整理する
安全性を優先するため、今回のプログラムには自動削除機能を設けていません。
Pythonで重複ファイルを検出する際によくある質問
Python初心者でも重複ファイル検出プログラムを作れますか?
はい、作成できます。
今回使用したpathlibやhashlibは、Pythonの標準ライブラリです。
基本的な文法とファイル操作の方法を理解すれば、初心者でも重複ファイル検出プログラムを作成できます。
最初は練習用のフォルダを使い、少しずつ機能を追加していくとよいでしょう。
画像やPDFファイルも検出できますか?
はい、検出できます。
今回のプログラムは、ファイルの種類ではなく中身のデータを比較しています。
そのため、JPEGやPNGなどの画像、PDF、Word、Excel、動画ファイルなども対象にできます。
ただし、画像の見た目が同じでも、圧縮率やメタデータなどが異なる場合は、ハッシュ値も異なります。
今回の方法で検出できるのは、基本的にデータとして完全に同一のファイルです。
ファイル名が違っていても検出できますか?
はい、検出できます。
今回のプログラムでは、ファイル名ではなくハッシュ値を使って比較しています。
そのため、ファイル名が異なっていても、内容が同じであれば重複ファイルとして検出できます。
重複ファイルを自動削除できますか?
はい、Pythonでは重複ファイルを自動削除することも可能です。
ただし、誤って必要なファイルを削除する危険があるため、最初から自動削除機能を使用するのはおすすめしません。
まずは検出結果をCSVに保存し、内容を確認してから手動で整理しましょう。
大量のファイルでも検出できますか?
はい、ある程度大量のファイルにも対応できます。
今回のプログラムでは、ファイルサイズによる絞り込みを行い、同じサイズのファイルだけハッシュ値を計算しています。
また、ファイルを分割して読み込むため、大容量ファイルにも対応しやすくなっています。
ただし、ファイル数や容量が増えるほど処理時間も長くなります。
大量のファイルを扱う場合は、対象フォルダを分けて実行する方法もおすすめです。
まとめ
今回は、Pythonを使って重複ファイルを自動検出する方法を紹介しました。
Pythonを利用すれば、ファイル名が異なる場合でも、ハッシュ値を使って同じ内容のファイルを見つけることができます。
今回の記事で紹介した内容を振り返ってみましょう。
- pathlibを使ってフォルダ内のファイルを取得する
- ファイルサイズを使って重複候補を絞り込む
- hashlibを使ってSHA-256のハッシュ値を計算する
- 同じハッシュ値のファイルをグループ化する
- CSV形式で検出結果を保存する
- 複数フォルダや特定の拡張子にも対応する
特に、ファイルサイズとハッシュ値を組み合わせる方法は、重複ファイルを効率よく検出するための基本的なテクニックです。
一度プログラムを作成しておけば、写真や文書、ダウンロードファイルなどの整理にも活用できます。
まずは練習用フォルダで動作を確認し、慣れてきたら自分のパソコン内にあるファイルにも応用してみてください。
Pythonを使った自動化を少しずつ取り入れて、日々のファイル管理を効率化していきましょう。
