ゲーム百科 · データの読み方

UTF-8の文字化けはなぜ起きる?|バイトとWindows-1252の読み違い

日本語の文字列をUTF-8のバイトへ分け、Windows-1252で誤って読む例を比較します。復号、再保存、置換文字、文字数とバイト数、復元できる条件を解説します。

約8分で読めますゲームの仕組み
日本語タイプライターの多数の活字
日本語タイプライターの多数の活字 · MoKu / CC BY-SA 3.0 · 写真クレジット

文字化けは、文字を保存したときの規則と、バイトを文字へ戻すときの規則が食い違うことで起こります。例えば「日本」をUTF-8で保存したバイトをWindows-1252として読むと、別の文字の並びになります。元の文章が別の言語へ翻訳されたのではなく、同じバイトの解釈が変わった状態です。

画面に見える文字と、ファイルや通信で運ばれるバイトは同じものではありません。文字をバイトへする符号化と、バイトを文字へ戻す復号を分けると、どの段階で違いが入ったかを追えます。履歴や結果の日本語を扱うときも、表の列を読む前に正しい文字列へ戻っていることが必要です。

ここではUTF-8とWindows-1252の組を使い、短い日本語を16進数のバイトと見比べます。すべての文字化けを自動修復する話ではありません。元のバイトが残っているか、置換や削除が入ったかによって、元へ戻せる範囲は変わります。

文字列とバイト列は、別の層にある

文字列は文字の並び、バイト列は0から255の数の並びです。同じ文字列でも、使う符号化方式によって保存するバイトが異なる場合があります。

対象UTF-8のバイト表示考え方
A41ASCII範囲の一文字
日E6 97 A5一文字が三バイト
本E6 9C AC別の三バイトの組
日本E6 97 A5 E6 9C AC二文字を連ねた六バイト

符号化と復号を分ける

「日」という文字をUTF-8へ符号化するとE6 97 A5という三つのバイトになります。復号は、このバイト列をどの規則で文字へ戻すかという操作です。同じUTF-8の規則で読めば、元の「日」へ対応します。

文字コードという言葉だけで両方向をまとめると、保存時と読み込み時のどちらが違うのかが曖昧になります。変換の矢印を書いて、文字からバイトなのか、バイトから文字なのかを明示すると、問題の場所を整理できます。

16進数はバイトの表示方法

E6は16進数の表記で、一つのバイトの値を二桁で示しています。文字Eと文字6をファイルへ保存した二バイトとは違います。バイトの表にある空白も、区切りを読みやすくするための表示で、元の文の空白とは限りません。

16進数の列を比べると、見える文字が違っても元のバイトが同じかを確認できます。目で見た文字だけを材料にすると、どの変換を通ったかが分かりにくくなります。文字とバイトの両方を残すことが手掛かりになります。

ASCIIだけでは差に気付きにくい

Aや数字の1など、ASCIIの範囲の文字はUTF-8とWindows-1252で同じバイトに対応します。英数字の見出しが読めても、日本語の本文が正しく復号された証明にはなりません。日本語を含む短い確認用の文字列が役立ちます。

結果の識別子だけが正常で説明文だけが崩れる場合も、この違いで説明できることがあります。文章の一部が読めるという印象だけで、全体の符号化が合っていると判断しません。使っている文字の範囲も確認します。

文字とバイトと解釈を分ける
文字化けの例だけを表示します。元の入力や端末の文字設定は変更しません。 図は横にスクロールできます。
活字を選ぶ機構と日本語の文字面
活字を選ぶ機構と日本語の文字面 · MoKu / CC BY-SA 3.0 · 写真クレジット

同じ六バイトを、別の規則で読む

UTF-8は複数のバイトをまとめて日本語の文字へ戻します。一方、Windows-1252は基本的に一バイトずつ文字へ対応させるため、同じ並びから違う文字列が生まれます。

段階使う規則得られるもの
元の文字列文字として扱う日本
最初の符号化UTF-8E6 97 A5 E6 9C AC
誤った復号Windows-1252日本
正しい復号元の六バイトをUTF-8で読む日本

日本が別の六文字になる

「日本」のUTF-8バイトE6 97 A5 E6 9C ACをWindows-1252で読むと、「日本」になります。E6がæ、97が長いダッシュ、A5が¥というように、一バイトごとに別の文字へ読まれています。

この文字列は、内容を解釈して作られた文章ではありません。誤った復号規則が機械的に割り当てた結果です。見える文字の意味を推測して翻訳するより、元のバイトと使った復号方式を調べる方が原因へ近づけます。

誤った文字列も保存できる

文字化けした「日本」を新たにUTF-8で保存すると、その六文字を表す別のバイト列ができます。最初の「日本」の六バイトをそのまま保存した状態とは違います。誤った復号の後に、再符号化という段階が追加されています。

再保存したファイルがUTF-8だから、内容も正しい日本語になるとは限りません。形式としては正しいUTF-8で、意味としては文字化けした文字列という状態があり得ます。ファイルの符号化と文字列の正しさを分けて確認します。

二重の変換を一つと見なさない

誤って読み、その文字列を保存し、また別の規則で読むと、複数段の変化になります。最後の見た目へ一回だけ変換をかけても、元へ戻るとは限りません。どの段階があったかを、分かる範囲で順に整理します。

文字化けした文を何度も別の方式で保存し直すと、元の情報を保っていた段階が失われる可能性があります。確認用には元のバイトを残したコピーを使います。正しい変換が分かる前に、元の内容を書き換えないことが重要です。

文字列と同じバイトの誤読を比較する

入力した文字列のUTF-8を16進数で示し、同じバイトをWindows-1252として読んだ結果を並べます。

入力値を確かめる準備ができました。

文字化けの例だけを表示します。元の入力や端末の文字設定は変更しません。

置換文字があると、失われた情報を考える

不正なバイトを読んだとき、復号器が置換文字U+FFFDを出す場合があります。見た目は黒いひし形に疑問符などですが、一つの記号へ元の多くの違いがまとめられます。

置換は元の文字の名前ではない

置換文字が一つ見えても、元がどの文字だったかをそこから一意に決められません。異なる不正なバイト列が、同じ置換へ変わる場合があるためです。元のバイトが別に残っていれば、そこへ戻って確認することができます。

置換済みの文字列しか残っていない場合、元のバイトの違いが失われている可能性があります。別の文字コードを選べば必ず直る、という説明はできません。復元の可否は、残っている情報の量に依存します。

疑問符へ変わった場合も区別する

保存側が扱えない文字を通常の疑問符へ置き換える場合もあります。最初から文中にあった疑問符と区別できなくなることがあり、元の一文字を推測だけで戻すと別の内容を作ってしまいます。置換が起きた段階を確認します。

不明な部分を自然な文章へ補うことと、元のバイトを復元することは違います。記録の内容を照合する用途なら、この違いは重要です。読めるように整えた推測を、元の記録そのものとして扱わないようにします。

厳格な復号と置換を選び分ける

復号器には、不正な入力を置換して続ける使い方と、エラーとして止める使い方があります。前者は表示を続けられますが、失われた部分に気付きにくい場合があります。後者は問題の存在を明確にできます。

どちらを使うかは用途によります。入力を検査する段階では、エラーを見つけられることが役立ちます。表示を優先する場面でも、置換がなかったかを確認すると、見える文章の整い方だけで品質を判断せずに済みます。

かな入力用のタイプライター全体
かな入力用のタイプライター全体 · KitaTKO / CC BY-SA 4.0 · 写真クレジット

戻せる条件は、変換の道筋とバイトの保持

誤った方式で読んだだけで元のバイトが残っているなら、正しい方式で読み直せます。誤った文字列しかない場合は、その変換が損失なく逆向きへ追えるかが問題になります。

元バイトから読み直す場合

この例の六バイトを保持していれば、UTF-8で復号して「日本」へ戻せます。Windows-1252で一度表示したこと自体が、元のファイルのバイトを必ず変更するわけではありません。読む操作と保存する操作を分けて考えます。

元のファイルをそのまま残し、コピーで復号方式を確認すると、比較の基準が保てます。結果が自然な日本語に見えただけで決めず、元の内容の確認用の語や識別子とも照合します。見た目と意味の対応を合わせて確かめます。

誤った文字列だけから逆に追う場合

「日本」が、元のバイトをWindows-1252で読んだ結果と分かっているなら、その各文字が表すバイトを取り出し、UTF-8として読むという逆の道筋を考えられます。既知の変換を戻すのであって、万能な推測ではありません。

途中で置換、削除、文字の正規化などが入ると、同じ道筋を損失なく戻せない場合があります。誤った方式の名前を知っているだけでは十分ではありません。途中の文字が元バイトへ一意に対応していることも条件になります。

自動判定は確定情報と違う

文字列の特徴から符号化を推測する道具もありますが、短い英数字だけの入力では候補を区別できない場合があります。推測の結果を、保存時の規則が確認された事実と同じに扱いません。元の作成条件があれば優先して確認します。

文字コードを変えて自然な単語が出た場合も、全文の記録と対応するかを見ます。一部が偶然読めるだけで正しいとは限りません。既知の符号化、元のバイト、確認できる内容の三つをそろえると、判断の根拠が強くなります。

文字数とバイト数は、同じ数字にならない

「日本」は二つの文字として見えても、UTF-8では六バイトです。画面で数える文字、プログラムの文字列の長さ、保存容量を表すバイト数は別の量です。

日本語は常に三バイトではない

この二文字がそれぞれ三バイトだからと、UTF-8のすべての文字が三バイトになるわけではありません。ASCIIは一バイトで、別の文字には二バイトや四バイトのものもあります。内容によって同じ見た目の文字数でも容量は変わります。

入力上限が十文字なのか十バイトなのかで、扱える内容は異なります。日本語を含む記録を切る場合、バイトの途中で分断すると不正なUTF-8を作ることがあります。長さの制限へ使う単位を明示する必要があります。

途中のバイトだけでは一文字にならない

E6 97 A5のうち、E6だけを切り出してUTF-8として読むと、完全な文字を表す並びではありません。複数バイトの境界を保って扱う必要があります。表示欄の幅で切る操作と、保存バイトを機械的に切る操作は違います。

通信が複数の塊へ分かれる場合も、塊の境界が文字の境界と一致するとは限りません。継続して復号する仕組みと、各塊を独立した完成データとして読む仕組みを区別します。途中の分割をそのまま文字の区切りへしません。

見える一文字とコード単位の違い

絵文字や結合文字などでは、見える一つの形が複数の文字要素を含むことがあります。JavaScriptの文字列の長さも、見た目の文字数と常に同じではありません。バイト数へ変換する場合は、実際の符号化結果を数えます。

ここでの例はバイトを理解しやすい短い語を使っています。長い文章の見た目の文字数から、保存するバイトを一律の倍数で推測しません。単位の違いを保つことで、切り詰めや容量の説明を正確にできます。

かな文字を配置したタイプライターのキー
かな文字を配置したタイプライターのキー · KitaTKO / CC BY-SA 4.0 · 写真クレジット

宣言と実際のバイトが一致しているかを見る

ファイルや応答には、読み方を伝える情報が付く場合があります。その宣言がUTF-8でも、実際の内容が別の方式なら、正しい文字列へ戻るとは限りません。

名前を書き換えても内容は変わらない

別の符号化のファイルへUTF-8という宣言を付けただけでは、バイトの変換は行われません。ラベルの変更と、文字列を介した実際の変換を区別します。正しい内容を得るには、元を正しく読んでから目的の方式へ保存します。

すでに文字化けを保存したUTF-8へ、もう一度UTF-8と宣言しても元へ戻りません。現在のバイトが何を表しているかが重要です。ファイル名や拡張子だけでは、内容の符号化や文字列の正しさは決まりません。

BOMだけで万能には直らない

UTF-8には先頭の目印としてEF BB BFが付く場合があります。目印は内容の変換を代わりに行うものではありません。本文が誤った文字列なら、目印を加えてもその文字列を正しく示すだけになる場合があります。

BOMの有無は読み込み側の扱いにも関わりますが、UTF-8が常にBOMを必要とするという意味ではありません。目印の問題と本文の復号の問題を分けると、先頭に何かあるだけで原因を一つへ決めずに済みます。

構造の解析は復号の後

CSVのカンマやJSONの記号を読む前に、バイトを正しい文字列へする段階があります。構造が読めたとしても、日本語の値が正しいとは限りません。英数字の記号が共通なら、形式だけは正常に見えることがあるためです。

表へ開けたことを、すべての説明文が保たれた証明にしません。短い既知の日本語を照合すると、構造と内容を別々に確認できます。数値列だけでなく、状態名や説明欄の語も確認することが役立ちます。

短い語を入力し、正しい読みと誤った読みを比べる

操作例では入力した文字列をUTF-8のバイトへ変換し、その同じバイトをWindows-1252として読んだ結果を並べます。実際のファイルを修復する機能ではありません。

英数字と日本語を比較する

まずABCのようなASCIIだけを入力すると、二つの方式で見た目が一致する範囲を確認できます。次に「日本」を入れると、六バイトが別の文字へ割り当てられる違いが分かります。入力する語を変え、差がどこから生まれるかを見ます。

同じ入力を何度実行しても、同じ符号化と復号なら同じ結果になります。誤表示も規則に沿った変換なので、偶然の揺れではありません。文字化けが再現することを、内容が正しいこととは混同しないようにします。

バイトの区切りを追う

「日」の三バイトと「本」の三バイトを分けて見てから、連続した六バイトを確認します。UTF-8では三つずつが一文字へ戻る一方、誤った一バイト方式では別々に読まれます。同じ入力が違う長さに見える理由を追えます。

バイトを表示する16進数の欄は、元の文字列とは別の表現です。その欄をそのまま文章として保存すると、Eや6などの文字になります。表示されたコードと実データのバイトを、最後まで分けて扱います。

個別の記録の復元とは分ける

この例は、既知のUTF-8をわざと別の方式で読む比較です。未知の文字化けが何段の変換を通ったかを判定したり、失われた文字を推定したりはしません。実際の記録には、元のバイトと変換の履歴が必要です。

文字列が読める状態へ戻った後は、内容の一致も確認します。数値、識別子、説明の語が元の記録と対応しているかを見ます。見栄えを整えることと、記録を保つことを分ける姿勢が、文字化けを扱う基本になります。

タイプバーと印字機構が見えるかなタイプライター
タイプバーと印字機構が見えるかなタイプライター · KitaTKO / CC BY-SA 4.0 · 写真クレジット

よくある質問

UTF-8なら文字化けしませんか。

UTF-8で保存しても、別の規則で読めば文字化けします。また文字化けした文字列をUTF-8で再保存した状態もあります。符号化の形式がUTF-8であることと、元の内容が正しいことを分けて確認します。

「日本」のUTF-8表現は何バイトですか。

六バイトです。「日」がE6 97 A5、「本」がE6 9C ACで、それを連ねます。二文字という見た目の数とバイト数は異なります。UTF-8のすべての文字が三バイトになるわけではありません。

Windows-1252で読むと何が変わりますか。

同じバイトを別の対応表で文字へ戻します。この例の「日本」の六バイトは「日本」へ変わります。元の文章が翻訳されたのではなく、復号の規則が食い違った結果です。

文字化けは必ず元へ戻せますか。

保証できません。元のバイトがあれば正しい規則で読み直せますが、途中の置換や削除で情報が失われる場合があります。既知の変換を損失なく逆向きへ追えるかが、復元できる条件になります。

置換文字から元の文字を特定できますか。

置換文字だけから一意に決めることはできません。異なる不正なバイトが同じ記号へまとめられる場合があります。元のバイトが別に残っていれば、そこへ戻って確認します。推測した文章とは区別します。

UTF-8という宣言を付け直せば直りますか。

宣言は読み方を伝える情報で、バイトの変換自体ではありません。本文の符号化や文字列が違えば、名前を付け直すだけでは直りません。元を正しく読んでから目的の方式へ保存する段階が必要です。

英数字が読めれば全体も正しいですか。

限りません。ASCIIの範囲はUTF-8とWindows-1252で共通なので、英数字だけ正常に見える場合があります。日本語を含む既知の語も確認し、形式の記号と説明文の内容を別々に照合します。

この操作例はファイルを自動修復しますか。

修復しません。入力文字列のUTF-8バイトと、そのバイトをWindows-1252で誤読した例を比較します。未知の文字化けの変換履歴を判定せず、失われた文字の推測や実ファイルの書き換えも行いません。