見えない文字を特定する
不可視文字がCSVや正規表現を壊した時、コードポイントが正体を教えてくれます。
このガイドで使う道具
やりたいこと
見た目は普通なのに挙動がおかしいテキスト——チャット由来のゼロ幅スペース(U+200B)や、普通のスペースでないノーブレークスペース(U+00A0)が典型です。貼ればコードポイントが判明します。
絵文字や漢字も同様です。😀はU+1F600で、UTF-8バイト列とUTF-16のサロゲートペアが表示されます。
各列の意味
U+はコードポイントで文字の正体です。UTF-8はディスク上のバイト列(1〜4バイト)、UTF-16はU+FFFF超でのサロゲートペアを示します。実体参照の列はHTMLでの表記です。
できないこと
文字名の表示や紛らわしい文字の判定はしません。「а」(キリル)と「a」(ラテン)はコードポイントが違うので、自分で見比べて判別します。