パーサーのエラー、Webhookの署名不一致、SQLの検索失敗などは、ターミナルエミュレータやコードエディタ上でまったく同じ見た目で描画される文字、あるいは完全に透明で表示されない文字が原因で頻繁に発生します。ドキュメントポータルやチャットメッセージからコピーした環境変数が、見た目上は api_key=prod とまったく同じに見える次のケースを考えてみましょう。
Visual rendering: api_key=prod
String.length: 14 (expected 12)
UTF-8 byte length: 19 bytes (expected 12 bytes)
この14コード単位の文字列をUnicode文字インスペクターにかけると、一見すると普通のASCIIテキストの中に隠れていた3つの異なる異常が明らかになります。先頭のバイトオーダーマーク(<BOM>)、ラテン文字の a に成り代わったキリル文字のホモグリフ、そして途中に埋め込まれたゼロ幅スペース(<ZWSP>)です。
[
{
"index": 0,
"badge": "<BOM>",
"codePoint": "U+FEFF",
"name": "ZERO WIDTH NO-BREAK SPACE",
"category": "Cf (Format)",
"block": "Arabic Presentation Forms-B",
"utf8Hex": "EF BB BF",
"utf16BE": "FE FF",
"utf16LE": "FF FE",
"warning": "Invisible zero-width format character"
},
{
"index": 1,
"glyph": "а",
"codePoint": "U+0430",
"name": "CYRILLIC SMALL LETTER A",
"category": "Ll (Lowercase Letter)",
"block": "Cyrillic",
"utf8Hex": "D0 B0",
"utf16BE": "04 30",
"utf16LE": "30 04",
"warning": "Confusable homoglyph for Latin U+0061 ('a')"
},
{
"index": 2,
"glyph": "p",
"codePoint": "U+0070",
"name": "LATIN SMALL LETTER P",
"category": "Ll (Lowercase Letter)",
"block": "Basic Latin",
"utf8Hex": "70",
"utf16BE": "00 70",
"utf16LE": "70 00",
"warning": null
},
{
"index": 8,
"badge": "<ZWSP>",
"codePoint": "U+200B",
"name": "ZERO WIDTH SPACE",
"category": "Cf (Format)",
"block": "General Punctuation",
"utf8Hex": "E2 80 8B",
"utf16BE": "20 0B",
"utf16LE": "0B 20",
"warning": "Invisible zero-width format character"
}
]
また、複数のコードポイントで構成される絵文字がランタイムによってまったく異なる文字長を返す理由も明確に把握できます。画面上では1文字に見えるテクノロジストの絵文字 👨💻 を検査すると、<ZWJ>(U+200D)で結合された3つのスカラコードポイントで構成されており、JavaScriptでは5つのUTF-16コード単位、UTF-8では11バイトを占有していることがわかります。
Grapheme clusters (UAX #29): 1 -> [ "👨💻" ]
Unicode scalar code points: 3 -> U+1F468 (Man) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
UTF-16 code units (.length): 5 -> D83D DC68 + 200D + D83D DCBB
UTF-8 encoded bytes: 11 -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB