Lỗi trình phân tích cú pháp (parser), sai lệch chữ ký webhook và truy vấn SQL thất bại thường bắt nguồn từ những ký tự hiển thị giống hệt nhau—hoặc hoàn toàn vô hình—trong thiết bị đầu cuối (terminal) và trình soạn thảo mã. Hãy xét một biến môi trường được sao chép từ cổng tài liệu hoặc tin nhắn trò chuyện trông giống hệt như api_key=prod:
Hiển thị trực quan: api_key=prod
String.length: 14 (dự kiến 12)
Độ dài byte UTF-8: 19 byte (dự kiến 12 byte)
Khi đưa chuỗi 14 đơn vị mã đó qua Trình Kiểm Tra Ký Tự Unicode, công cụ sẽ vạch trần ba điểm bất thường riêng biệt ẩn bên trong văn bản tưởng chừng như chỉ là ASCII thuần túy: một dấu Byte Order Mark (<BOM>) ở đầu chuỗi, một ký tự đồng hình Kirin thay thế chữ a Latinh, và một khoảng trắng độ rộng bằng không (<ZWSP>) nằm xen kẽ:
[
{
"index": 0,
"badge": "<BOM>",
"codePoint": "U+FEFF",
"name": "ZERO WIDTH NO-BREAK SPACE",
"category": "Cf (Format)",
"block": "Arabic Presentation Forms-B",
"utf8Hex": "EF BB BF",
"utf16BE": "FE FF",
"utf16LE": "FF FE",
"warning": "Ký tự định dạng độ rộng bằng không vô hình"
},
{
"index": 1,
"glyph": "а",
"codePoint": "U+0430",
"name": "CYRILLIC SMALL LETTER A",
"category": "Ll (Lowercase Letter)",
"block": "Cyrillic",
"utf8Hex": "D0 B0",
"utf16BE": "04 30",
"utf16LE": "30 04",
"warning": "Homoglyph dễ nhầm lẫn với chữ Latinh U+0061 ('a')"
},
{
"index": 2,
"glyph": "p",
"codePoint": "U+0070",
"name": "LATIN SMALL LETTER P",
"category": "Ll (Lowercase Letter)",
"block": "Basic Latin",
"utf8Hex": "70",
"utf16BE": "00 70",
"utf16LE": "70 00",
"warning": null
},
{
"index": 8,
"badge": "<ZWSP>",
"codePoint": "U+200B",
"name": "ZERO WIDTH SPACE",
"category": "Cf (Format)",
"block": "General Punctuation",
"utf8Hex": "E2 80 8B",
"utf16BE": "20 0B",
"utf16LE": "0B 20",
"warning": "Ký tự định dạng độ rộng bằng không vô hình"
}
]
Công cụ kiểm tra cũng làm rõ lý do tại sao các emoji đa code point lại trả về độ dài hoàn toàn khác nhau giữa các môi trường thực thi (runtime). Khi kiểm tra một emoji kỹ sư công nghệ hiển thị duy nhất là 👨💻, ta thấy ba code point vô hướng được nối với nhau bởi <ZWJ> (U+200D), chiếm 5 đơn vị mã UTF-16 trong JavaScript và 11 byte trong UTF-8:
Cụm grapheme (UAX #29): 1 -> [ "👨💻" ]
Code point vô hướng Unicode: 3 -> U+1F468 (Nam) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
Đơn vị mã UTF-16 (.length): 5 -> D83D DC68 + 200D + D83D DCBB
Byte mã hóa UTF-8: 11 -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB