CSV結合の自動化でつまずく3場面と対処法【全スクリプト無料】

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x93 in position 0: invalid start byte

# -*- coding: utf-8 -*-
"""Excel保存のCSV(Shift_JIS)を encoding="cp932" で読んで結合する対応版"""
from pathlib import Path
import pandas as pd

folder = Path(r"C:\data\csv")   # ←自分のCSVフォルダに書き換える

dfs = []
for f in sorted(folder.glob("*.csv")):
    df = pd.read_csv(f, encoding="cp932")   # ← ここを utf-8-sig から cp932 に変えるだけ
    dfs.append(df)
    print(f"読み込みOK: {f.name}({len(df)}行)")

merged = pd.concat(dfs, ignore_index=True)
out = folder.parent / "merged_cp932.csv"
merged.to_csv(out, index=False, encoding="utf-8-sig")  # 出力はBOM付きUTF-8(Excelで開ける)
print(f"\n結合完了: {len(dfs)}ファイル → {len(merged)}行")
print(f"列名: {list(merged.columns)}")
print(f"保存先: {out}")

glob('*.csv')  で見つかった数: 0個
rglob('*.csv') で見つかった数: 10個

# -*- coding: utf-8 -*-
"""サブフォルダの中のCSVもまとめて拾う rglob 版"""
from pathlib import Path
import pandas as pd

folder = Path(r"C:\data\csv")   # ←自分のCSVフォルダに書き換える

# glob("*.csv") は直下だけ / rglob("*.csv") はサブフォルダの中まで全部探す
files_glob = sorted(folder.glob("*.csv"))
files_rglob = sorted(folder.rglob("*.csv"))
print(f"glob('*.csv')  で見つかった数: {len(files_glob)}個")
print(f"rglob('*.csv') で見つかった数: {len(files_rglob)}個")

dfs = []
for f in files_rglob:
    df = pd.read_csv(f, encoding="utf-8-sig")
    # どのフォルダのファイルか分かるように、元ファイルの場所を列に残す
    df["元ファイル"] = str(f.relative_to(folder))
    dfs.append(df)
    print(f"  読み込み: {f.relative_to(folder)}({len(df)}行)")

merged = pd.concat(dfs, ignore_index=True)
out = folder.parent / "merged_nested.csv"
merged.to_csv(out, index=False, encoding="utf-8-sig")
print(f"\n結合完了: {len(dfs)}ファイル → {len(merged)}行")
print(f"保存先: {out}")

# -*- coding: utf-8 -*-
"""結合前に列名のズレを検知して警告する版"""
from pathlib import Path
import pandas as pd

folder = Path(r"C:\data\csv")   # ←自分のCSVフォルダに書き換える

# 期待する列名を自分で決めて書いておく(「最初のファイルを基準にする」方式だと、
# たまたま先頭に来たファイルが異常だった場合に正常ファイルの方が除外されてしまう)
EXPECTED_COLS = ["日付", "商品名", "数量", "単価", "金額"]

files = sorted(folder.glob("*.csv"))
dfs = []
ng_files = []   # 列名がズレていたファイルの記録

print(f"期待する列名: {EXPECTED_COLS}\n")
for f in files:
    df = pd.read_csv(f, encoding="utf-8-sig")
    cols = list(df.columns)
    if cols != EXPECTED_COLS:
        # ズレた列を特定して警告(このファイルは結合から除外)
        diff = set(cols) ^ set(EXPECTED_COLS)   # どちらか片方にしかない列名
        print(f"【警告】{f.name} の列名が期待と違います!")
        print(f"  このファイルの列名: {cols}")
        print(f"  ズレている列: {sorted(diff)}")
        print(f"  → このファイルは結合から除外します。列名を直してから再実行してください。")
        ng_files.append(f.name)
        continue
    dfs.append(df)
    print(f"OK: {f.name}({len(df)}行)")

merged = pd.concat(dfs, ignore_index=True)
out = folder.parent / "merged_checked.csv"
merged.to_csv(out, index=False, encoding="utf-8-sig")
print(f"\n結合完了: {len(dfs)}ファイル → {len(merged)}行(除外: {ng_files})")
print(f"金額列の欠損数: {merged['金額'].isna().sum()}(チェックなしで結合するとここが欠損だらけになる)")
print(f"保存先: {out}")

【警告】sales_ng_5.csv の列名が期待と違います!
  このファイルの列名: ['日付', '商品名', '数量', '単価', '売上金額']
  ズレている列: ['売上金額', '金額']
  → このファイルは結合から除外します。列名を直してから再実行してください。