Linuxの文字コードを理解する｜確認・変換・ロケール設定まで完全解説

この記事のポイント

・Linuxの標準文字コードはUTF-8。日本語環境ではja_JP.UTF-8が基本
・fileコマンドで文字コードを確認し、iconvかnkfで変換できる
・RHEL9/Rocky9のロケール設定はlocalectlコマンドを使う
・変換時は必ずバックアップを取ること。元ファイルを上書きしない

# 書式
file -i ファイル名

# UTF-8ファイルの確認例
$ file -i sample.txt
sample.txt: text/plain; charset=utf-8

# Shift-JISファイルの確認例
$ file -i windows_data.csv
windows_data.csv: text/plain; charset=iso-8859-1

# nkfをインストール（RHEL9/Rocky9の場合）
$ sudo dnf install nkf -y

# 文字コードを判定する
$ nkf --guess windows_data.csv
Shift_JIS

$ nkf --guess linux_file.txt
UTF-8

# Shift-JIS(sjis)からUTF-8(utf8)に変換
# -o オプションで出力ファイルを別名指定（元ファイル保護）
$ iconv -f sjis -t utf8 windows_data.csv -o windows_data_utf8.csv

# 変換後の文字コードを確認
$ nkf --guess windows_data_utf8.csv
UTF-8

# 変換前後のファイルを比較確認
$ wc -l windows_data.csv windows_data_utf8.csv
 100 windows_data.csv
 100 windows_data_utf8.csv

# EUC-JPからUTF-8に変換
$ iconv -f eucjp -t utf8 old_unix_file.txt -o old_unix_file_utf8.txt

# UTF-8からEUC-JPに変換（古いシステムへの対応が必要な場合）
$ iconv -f utf8 -t eucjp modern_file.txt -o legacy_file.txt

# iconvが扱える文字コードを一覧表示
$ iconv -l | grep -i -E "sjis|shift|euc|utf|iso-8859"
ISO-8859-1//
ISO-8859-15//
EUC-JP//
SHIFT_JIS//
UTF-8//
UTF-16//
UTF-32//

# Shift-JISをUTF-8に変換（出力は別ファイルへリダイレクト）
$ nkf -w windows_data.csv > windows_data_utf8.csv

# 改行コードもUnix形式（LF）に同時変換
$ nkf -w -Lu windows_data.csv > windows_data_utf8.csv

# 変換結果を確認
$ nkf --guess windows_data_utf8.csv
UTF-8
$ file windows_data_utf8.csv
windows_data_utf8.csv: UTF-8 Unicode text

# ディレクトリ内の全.txtファイルをUTF-8に一括変換
# （--overwriteは元ファイルを上書きするため、事前にバックアップすること）
$ cp -r /data/sjis_files /data/sjis_files_backup
$ find /data/sjis_files -name "*.txt" -exec nkf -w --overwrite {} \;

# 変換後に確認
$ nkf --guess /data/sjis_files/sample.txt
UTF-8

# 現在のロケール設定を確認
$ locale
LANG=ja_JP.UTF-8
LC_CTYPE="ja_JP.UTF-8"
LC_NUMERIC="ja_JP.UTF-8"
LC_TIME="ja_JP.UTF-8"
LC_COLLATE="ja_JP.UTF-8"
LC_MONETARY="ja_JP.UTF-8"
LC_MESSAGES="ja_JP.UTF-8"
LC_PAPER="ja_JP.UTF-8"
LC_NAME="ja_JP.UTF-8"
LC_ADDRESS="ja_JP.UTF-8"
LC_TELEPHONE="ja_JP.UTF-8"
LC_MEASUREMENT="ja_JP.UTF-8"
LC_IDENTIFICATION="ja_JP.UTF-8"
LC_ALL=

# インストール済みのロケールを確認
$ locale -a | grep -i japan
ja_JP.eucjp
ja_JP.utf8

# cronスクリプトの冒頭に必ず記述する
#!/bin/bash
export LANG=ja_JP.UTF-8
export LC_ALL=ja_JP.UTF-8

# これがないと日本語ファイル名の処理や出力が文字化けする

# 現在のシステムロケールを確認
$ localectl status
   System Locale: LANG=en_US.UTF-8
       VC Keymap: us
      X11 Layout: us

# 日本語UTF-8ロケールに変更
$ sudo localectl set-locale LANG=ja_JP.UTF-8

# 設定後に確認
$ localectl status
   System Locale: LANG=ja_JP.UTF-8
       VC Keymap: us
      X11 Layout: us

# 変更を反映するため、ログアウト＆再ログインするか下記を実行
$ source /etc/locale.conf

# 日本語ロケールが未インストールの場合
$ sudo dnf install glibc-langpack-ja -y

# インストール後に確認
$ locale -a | grep ja
ja_JP.eucjp
ja_JP.utf8

# エラー例
$ iconv -f sjis -t utf8 data.csv -o data_utf8.csv
iconv: data.csv:156:45: cannot convert

# 対処: -c オプションで変換できない文字をスキップ
$ iconv -f sjis -t utf8 -c data.csv -o data_utf8.csv

# または -t に //IGNORE または //TRANSLIT を付ける
$ iconv -f sjis -t utf8//IGNORE data.csv -o data_utf8.csv

# スクリプト冒頭にLANG設定を明示する
#!/bin/bash
export LANG=ja_JP.UTF-8

# ファイル名に日本語が含まれる場合の確認
$ ls -la *.txt
-rw-r--r--. 1 ec2-user ec2-user 1234 Apr  7 10:00 テスト.txt

# Shift-JISファイルをUTF-8環境のターミナルで表示する場合
# そのままcatすると文字化けする
$ cat windows_file.txt
???????????

# nkfで変換しながら表示する
$ nkf -w windows_file.txt | cat

# または一時ファイルに変換してから確認
$ nkf -w windows_file.txt > /tmp/check.txt && cat /tmp/check.txt

# 日本語パターンでgrepが失敗する場合
$ grep "テスト" data.txt
（何も表示されない）

# LANG設定を確認してから再実行
$ echo $LANG
C
$ export LANG=ja_JP.UTF-8
$ grep "テスト" data.txt
テストデータ: 123