Linuxの文字コード判定と変換コマンドまとめ｜nkf・iconv・file -iと文字化け対処

この記事のポイント

・file -i ファイル名 でMIMEタイプと文字コードを即確認できる
・nkf -g ファイル名 はJIS/Shift_JIS/EUC-JP/UTF-8の判定が得意
・iconv -f 変換元 -t 変換先 -o 出力ファイル 入力ファイル で確実に変換できる
・BOM付きUTF-8は nkf --overwrite --oc=UTF-8 で除去できる

# ファイルの文字コードをMIMEタイプと一緒に確認する
$ file -i sample.txt
sample.txt: text/plain; charset=utf-8

# Shift_JISファイルの場合
$ file -i sjis_log.txt
sjis_log.txt: text/plain; charset=iso-8859-1

# ディレクトリ内の全テキストファイルを一覧で確認する
$ file -i /var/log/*.log
/var/log/messages:    text/plain; charset=utf-8
/var/log/secure:      text/plain; charset=utf-8
/var/log/maillog:     text/plain; charset=us-ascii

# インストール確認
$ which nkf
/usr/bin/nkf

# RHEL/CentOS/AlmaLinux/Rocky Linux の場合
$ sudo dnf install nkf

# Ubuntu/Debian の場合
$ sudo apt install nkf

# ファイルの文字コードを判定する（-g は --guess の略）
$ nkf -g sample.txt
UTF-8

$ nkf -g sjis_file.txt
Shift_JIS

$ nkf -g euc_file.txt
EUC-JP

# BOM付きUTF-8の場合
$ nkf -g bom_file.txt
UTF-8 (BOM)

# Shift_JIS → UTF-8 に変換して新しいファイルに保存
$ nkf -w sjis_file.txt > utf8_file.txt

# EUC-JP → UTF-8 に変換して元ファイルを上書き（--overwrite）
$ nkf -w --overwrite euc_file.txt

# UTF-8 → Shift_JIS に変換（Windowsでの利用が必要な場合）
$ nkf -s utf8_file.txt > sjis_output.txt

# BOM付きUTF-8ファイルを確認
$ nkf -g bom_file.txt
UTF-8 (BOM)

# BOMなしUTF-8に変換して上書き
$ nkf --overwrite --oc=UTF-8 bom_file.txt

# 変換後に確認
$ nkf -g bom_file.txt
UTF-8

# カレントディレクトリ内の全 .txt ファイルをUTF-8に一括変換（上書き）
$ nkf -w --overwrite *.txt

# find と組み合わせてサブディレクトリも含めて一括変換
$ find /path/to/dir -name "*.txt" -exec nkf -w --overwrite {} \;

# 対応している文字コードの一覧を表示する
$ iconv -l

# 日本語関連を絞り込む場合
$ iconv -l | grep -i utf

# Shift_JIS → UTF-8 に変換して出力ファイルを作成
$ iconv -f SHIFT_JIS -t UTF-8 -o output.txt input.txt

# EUC-JP → UTF-8 に変換
$ iconv -f EUC-JP -t UTF-8 -o output.txt input.txt

# 標準出力にリダイレクトで保存する方法（-o の代替）
$ iconv -f SHIFT_JIS -t UTF-8 input.txt > output.txt

# 変換できない文字をスキップする場合（-c オプション）
$ iconv -f SHIFT_JIS -t UTF-8 -c -o output.txt input.txt

# 変換できない文字を ? に置換する場合（//TRANSLIT）
$ iconv -f SHIFT_JIS -t UTF-8//TRANSLIT -o output.txt input.txt

# 変換できない文字を無視する場合（//IGNORE）
# 注意: 終了コードが0になるため、エラーを見落とす可能性がある
$ iconv -f SHIFT_JIS -t UTF-8//IGNORE -o output.txt input.txt

# Shift_JISのCSVをUTF-8に変換してgrepで検索する
$ iconv -f SHIFT_JIS -t UTF-8 data.csv | grep "エラー"

# Shift_JISのログファイルをUTF-8に変換しながらlessで閲覧する
$ iconv -f SHIFT_JIS -t UTF-8 access.log | less

# Shift_JISのファイルをUTF-8に変換してawk処理する
$ iconv -f SHIFT_JIS -t UTF-8 report.csv | awk -F, '{print $1, $3}'

# 現在のロケール設定を確認する
$ locale
LANG=ja_JP.UTF-8
LC_CTYPE="ja_JP.UTF-8"
LC_NUMERIC="ja_JP.UTF-8"
LC_TIME="ja_JP.UTF-8"
...

# 利用可能なロケールを確認する
$ locale -a | grep ja_JP
ja_JP.eucjp
ja_JP.ujis
ja_JP.utf8

# EUC-JPロケールでコマンドを実行する場合
$ LANG=ja_JP.eucjp cat euc_file.txt

# CロケールでASCII処理する場合
$ LANG=C grep "pattern" file.txt

# まず文字コードを判定する
$ nkf -g problem_file.txt
Shift_JIS

# iconv でUTF-8に変換してからlessで確認する
$ iconv -f SHIFT_JIS -t UTF-8 problem_file.txt | less

# または nkf でUTF-8に変換して表示する
$ nkf -w problem_file.txt | less

# ファイルの文字コードを確認する
$ nkf -g access.log
EUC-JP

# 処理前にUTF-8に変換する
$ iconv -f EUC-JP -t UTF-8 access.log | grep "エラー"

# または LANG を一時的に変更する
$ LANG=ja_JP.eucjp grep "エラー" access.log

# iconv でShift_JISを指定する場合、CP932やms932を試す
# WindowsのShift_JISはCP932（Microsoftの拡張版）のことが多い
$ iconv -f CP932 -t UTF-8 -o output.txt windows_file.txt

# nkf はCP932も自動判定して変換できる
$ nkf -w --overwrite windows_file.txt

# 実行例: Shift_JISのスクリプトを実行しようとしたエラー
$ bash sjis_script.sh
sjis_script.sh: 行 5: 予期しないトークン `$'\357\276\213'' 周辺に構文エラーあり

# スクリプト本体の文字コードを確認
$ nkf -g sjis_script.sh
Shift_JIS

# UTF-8に変換して保存する
$ nkf -w --overwrite sjis_script.sh

# 変換後に実行できることを確認
$ bash sjis_script.sh