Ayrıştırıcı (parser) hataları, webhook imza uyuşmazlıkları ve başarısız SQL sorguları, genellikle terminal emülatörlerinde ve kod editörlerinde birebir aynı görünen—veya tamamen görünmez olan—karakterlerden kaynaklanır. Bir dokümantasyon portalından veya sohbet mesajından kopyalanan ve görsel olarak api_key=prod ile tamamen aynı duran bir ortam değişkenini ele alalım:
Visual rendering: api_key=prod
String.length: 14 (expected 12)
UTF-8 byte length: 19 bytes (expected 12 bytes)
Bu 14 birimlik diziyi Unicode Karakter İnceleyici'den geçirmek, görünüşte düz ASCII olan metnin içine gizlenmiş üç farklı anomaliyi ortaya çıkarır: başta yer alan bir Bayt Sırası İşareti (<BOM>), Latin a harfinin yerini alan bir Kiril homoglifi ve araya gömülmüş bir Sıfır Genişlikli Boşluk (<ZWSP>):
[
{
"index": 0,
"badge": "<BOM>",
"codePoint": "U+FEFF",
"name": "ZERO WIDTH NO-BREAK SPACE",
"category": "Cf (Format)",
"block": "Arabic Presentation Forms-B",
"utf8Hex": "EF BB BF",
"utf16BE": "FE FF",
"utf16LE": "FF FE",
"warning": "Invisible zero-width format character"
},
{
"index": 1,
"glyph": "а",
"codePoint": "U+0430",
"name": "CYRILLIC SMALL LETTER A",
"category": "Ll (Lowercase Letter)",
"block": "Cyrillic",
"utf8Hex": "D0 B0",
"utf16BE": "04 30",
"utf16LE": "30 04",
"warning": "Confusable homoglyph for Latin U+0061 ('a')"
},
{
"index": 2,
"glyph": "p",
"codePoint": "U+0070",
"name": "LATIN SMALL LETTER P",
"category": "Ll (Lowercase Letter)",
"block": "Basic Latin",
"utf8Hex": "70",
"utf16BE": "00 70",
"utf16LE": "70 00",
"warning": null
},
{
"index": 8,
"badge": "<ZWSP>",
"codePoint": "U+200B",
"name": "ZERO WIDTH SPACE",
"category": "Cf (Format)",
"block": "General Punctuation",
"utf8Hex": "E2 80 8B",
"utf16BE": "20 0B",
"utf16LE": "0B 20",
"warning": "Invisible zero-width format character"
}
]
İnceleyici ayrıca çoklu kod noktasına sahip emojilerin farklı çalışma zamanlarında (runtimes) neden çok farklı uzunluklar döndürdüğünü de netleştirir. Tek bir sembol olarak görünen teknoloji uzmanı emojisini (👨💻) incelediğimizde, <ZWJ> (U+200D) ile birleştirilmiş üç skaler kod noktası olduğunu ve bunun JavaScript'te 5 UTF-16 kod birimi, UTF-8'de ise 11 bayt yer kapladığını görürüz:
Grapheme clusters (UAX #29): 1 -> [ "👨💻" ]
Unicode scalar code points: 3 -> U+1F468 (Man) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
UTF-16 code units (.length): 5 -> D83D DC68 + 200D + D83D DCBB
UTF-8 encoded bytes: 11 -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB