Інспектор символів Unicode

Посимвольний аналіз рядків Unicode просто у браузері.

Без завантаження на серверБез реєстраціїМиттєвий результат
Unicode та UTF-8/16Нульова ширина й омогліфи100% Локально • Без завантажень
Аналізувати символи
Офлайн-рушій готовий100% приватне виконання у браузері • Без завантаження на сервер
100% приватно • Без завантаження файлів на сервер

Чому варто обрати безкоштовний Інспектор символів Unicode від Utiliome?

Створено з нуля для повної приватності, миттєвої роботи та зручності. Без підписок, платних обмежень та реєстрації.

Виявлення невидимих та Bidi-символів

Знаходить недруковані керівні символи та символи форматування, зокрема U+200B ZWSP, U+FEFF BOM, U+00A0 NBSP, м'який перенос U+00AD та перевизначення напрямку тексту Trojan Source (від U+202A до U+202E, від U+2066 до U+2069).

Побайтовий розбір UTF-8 та UTF-16LE/BE

Відображає точні шістнадцяткові послідовності байтів UTF-8 (від 1 до 4 байтів згідно з RFC 3629) поряд із кодовими одиницями UTF-16LE та UTF-16BE, наочно розкриваючи сурогатні пари для додаткових площин вище U+FFFF.

Метрики графем UAX #29 і кодових одиниць

Порівнює розширені графемні кластери зі скалярними значеннями Unicode, кодовими одиницями UTF-16 у JavaScript та довжиною в байтах UTF-8 для діагностики помилок обрізання рядків і переповнення стовпців БД.

Діагностика омогліфів і приватність у браузері

Позначає візуально схожі символи за стандартом UTS #39 (наприклад, кириличні гліфи замість латинських і типографські лапки) повністю на стороні клієнта в пам'яті браузера — токени, логи та код ніколи не залишають ваш пристрій.

Utiliome проти традиційних хмарних аналогів

Порівняйте наш локальний рушій WebAssembly із застарілими хмарними сервісами.

Функція Utiliome (Локальний браузер) Застарілі хмарні конвертери
Виявлення невидимих та Bidi-символів Знаходить недруковані керівні символи та символи форматування, зокрема U+200B ZWSP, U+FEFF BOM, U+00A0 NBSP, м'який перенос U+00AD та перевизначення напрямку тексту Trojan Source (від U+202A до U+202E, від U+2066 до U+2069). Обмежені налаштування без гнучкої кастомізації
Побайтовий розбір UTF-8 та UTF-16LE/BE Відображає точні шістнадцяткові послідовності байтів UTF-8 (від 1 до 4 байтів згідно з RFC 3629) поряд із кодовими одиницями UTF-16LE та UTF-16BE, наочно розкриваючи сурогатні пари для додаткових площин вище U+FFFF. Потребує сторонніх програм або ручної обробки
Конфіденційність та обробка 100% локально у браузері (0 завантажень на сервер) Завантажує дані на зовнішні хмарні сервери
Вартість і реєстрація 100% безкоштовно назавжди без реєстрації Вимагає реєстрації акаунта або платної підписки
Як це працює

Інспектор символів Unicode: як користуватися за 3 простих кроки

Встановлення програм не потрібне. Все працює безпосередньо у вашому веб-браузері.

1

Вставте текст або перетягніть файл

Вставте рядок, ідентифікатор, запис із логу або завантажте файл у кодуванні UTF-8 із підозрою на символи нульової ширини, пошкоджені послідовності емодзі чи неочікувану довжину в байтах.

2

Дослідіть метадані кожного символу

Перевірте скалярну кодову точку U+XXXX кожного символу, офіційну назву Unicode, загальну категорію (General Category), блок, шістнадцяткові байти UTF-8 і UTF-16LE/BE, а також індикатори загроз безпеці.

3

Ізолюйте аномалії або скопіюйте чистий текст

Відфільтруйте список до невидимих символів форматування чи небезпечних омогліфів, видаліть небажані недруковані кодові точки або скопіюйте побайтову таблицю для баг-репорту.

Аналіз прихованих символів, сурогатних пар та омогліфів

Швидка відповідь: Вставте будь-який рядок, щоб розкласти його на окремі скалярні значення Unicode та виявити невидимі символи (наприклад, пробіл нульової ширини U+200B або маркер U+FEFF BOM), складені ZWJ-емодзі та візуально схожі не-ASCII омогліфи разом із їхніми точними байтовими послідовностями UTF-8 та UTF-16.

Помилки парсерів, розбіжності підписів вебхуків і збої SQL-запитів часто спричинені символами, які виглядають абсолютно однаково — або взагалі не відображаються — в емуляторах термінала та редакторах коду. Розглянемо змінну середовища, скопійовану з порталу документації або корпоративного чату, яка візуально нічим не відрізняється від api_key=prod:

Візуальне відображення: api_key=prod
String.length:          14 (очікувалося 12)
Довжина в байтах UTF-8: 19 байтів (очікувалося 12 байтів)

Перевірка цього рядка з 14 кодових одиниць через Інспектор символів Unicode виявляє три приховані аномалії всередині тексту, що здається звичайним ASCII: початковий маркер порядку байтів (<BOM>), кириличний омогліф замість латинської літери a та вбудований пробіл нульової ширини (<ZWSP>):

[
  {
    "index": 0,
    "badge": "<BOM>",
    "codePoint": "U+FEFF",
    "name": "ZERO WIDTH NO-BREAK SPACE",
    "category": "Cf (Format)",
    "block": "Arabic Presentation Forms-B",
    "utf8Hex": "EF BB BF",
    "utf16BE": "FE FF",
    "utf16LE": "FF FE",
    "warning": "Invisible zero-width format character"
  },
  {
    "index": 1,
    "glyph": "а",
    "codePoint": "U+0430",
    "name": "CYRILLIC SMALL LETTER A",
    "category": "Ll (Lowercase Letter)",
    "block": "Cyrillic",
    "utf8Hex": "D0 B0",
    "utf16BE": "04 30",
    "utf16LE": "30 04",
    "warning": "Confusable homoglyph for Latin U+0061 ('a')"
  },
  {
    "index": 2,
    "glyph": "p",
    "codePoint": "U+0070",
    "name": "LATIN SMALL LETTER P",
    "category": "Ll (Lowercase Letter)",
    "block": "Basic Latin",
    "utf8Hex": "70",
    "utf16BE": "00 70",
    "utf16LE": "70 00",
    "warning": null
  },
  {
    "index": 8,
    "badge": "<ZWSP>",
    "codePoint": "U+200B",
    "name": "ZERO WIDTH SPACE",
    "category": "Cf (Format)",
    "block": "General Punctuation",
    "utf8Hex": "E2 80 8B",
    "utf16BE": "20 0B",
    "utf16LE": "0B 20",
    "warning": "Invisible zero-width format character"
  }
]

Інспектор також наочно пояснює, чому складені емодзі показують абсолютно різну довжину в різних середовищах виконання. Аналіз одного видимого емодзі технолога 👨💻 виявляє три скалярні кодові точки, з'єднані через <ZWJ> (U+200D), які займають 5 кодових одиниць UTF-16 у JavaScript та 11 байтів у UTF-8:

Графемні кластери (UAX #29): 1   -> [ "👨💻" ]
Скалярні кодові точки:       3   -> U+1F468 (Man) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
Кодові одиниці UTF-16:       5   -> D83D DC68 + 200D + D83D DCBB
Закодовані байти UTF-8:      11  -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB

Механіка кодування Unicode, межі графем і ризики безпеці

Швидка відповідь: Unicode розподіляє 1 112 064 допустимі скалярні значення по 17 площинах, кодуючи їх у формат змінної довжини UTF-8 (від 1 до 4 байтів за RFC 3629) або UTF-16 (2 чи 4 байти через сурогатні пари за RFC 2781). Розбіжності між графемними кластерами, формами канонічної нормалізації та невидимими bidi-символами призводять до помилок парсерів і вразливостей безпеки.

Скалярні значення, префіксні біти UTF-8 (RFC 3629) та сурогати UTF-16 (RFC 2781)

Кодовий простір Unicode охоплює діапазон від U+0000 до U+10FFFF і поділений на 17 площин по 65 536 кодових точок у кожній. За вирахуванням 2048 зарезервованих позицій для сурогатів (U+D800–U+DFFF) існує рівно 1 112 064 скалярні значення Unicode:

  • UTF-8 кодує базову латиницю нульової площини (U+0000–U+007F) 1 байтом (0xxxxxxx), діапазон U+0080–U+07FF — 2 байтами (110xxxxx 10xxxxxx), решту символів Базової багатомовної площини (BMP, U+0800–U+FFFF) — 3 байтами (1110xxxx 10xxxxxx 10xxxxxx), а додаткові астральні площини (U+10000–U+10FFFF) — 4 байтами (11110xxx 10xxxxxx 10xxxxxx 10xxxxxx). Оскільки байти продовження завжди починаються з бітів 10, кодування UTF-8 є самосинхронізованим і ніколи не містить нульових байтів (0x00) усередині ненульових символів.
  • UTF-16 представляє скалярні значення з BMP безпосередньо у вигляді однієї 16-бітної кодової одиниці. Для символів із діапазону U+10000–U+10FFFF віднімається 0x10000, утворюючи 20-бітне зміщення (0x00000–0xFFFFF), де старші 10 бітів формують старший (провідний) сурогат (0xD800–0xDBFF), а молодші 10 бітів — молодший (ведений) сурогат (0xDC00–0xDFFF). У UTF-16BE першим записується старший значущий байт (D8 3D DC 80), тоді як у UTF-16LE порядок байтів усередині кожного 16-бітного слова зворотний (3D D8 80 DC).

Канонічна еквівалентність (UAX #15) і сегментація графем (UAX #29)

Візуально ідентичний текст нерідко має зовсім різне байтове представлення. Згідно з додатком Unicode Standard Annex #15, символ é може зберігатися у формі нормалізації C (NFC) як єдиний скомпільований символ U+00E9 (UTF-8 C3 A9) або у формі нормалізації D (NFD) як базова літера U+0065 (e), за якою йде комбінований знак гострого наголосу U+0301 (COMBINING ACUTE ACCENT, категорія Mn, UTF-8 65 CC 81). Файлові системи macOS приводять імена файлів до форми NFD, тоді як Linux, Windows і вебформи у браузерах за замовчуванням використовують NFC — через це наївне побайтове порівняння рядків, пошук ключів об'єктів у S3 та перевірка HMAC-підписів завершуються помилкою без попередньої нормалізації.

Аналогічно, обрізання рядків за індексами UTF-16 (str.slice(0, 10)) може відірвати старший сурогат від молодшого (породжуючи поодинокі непарні сурогати, які під час серіалізації в UTF-8 замінюються на U+FFFD) або відокремити базовий символ від комбінованих діакритичних знаків, селекторів варіантів накреслення (U+FE0E, U+FE0F) чи регіональних індикаторів прапорів (U+1F1E6–U+1F1FF). Символи, які сприймає користувач, необхідно сегментувати строго за межами розширених графемних кластерів UAX #29.

Атаки Trojan Source (`CVE-2021-42574`) та омогліфи UTS #39

Два класи символів у стандарті Unicode становлять гостру загрозу для безпеки застосунків:

  1. Перевизначення напрямку тексту (Cf): Кодові точки з U+202A до U+202E (<LRE>, <RLE>, <PDF>, <LRO>, <RLO>) та ізолятори з U+2066 до U+2069 (<LRI>, <RLI>, <FSI>, <PDI>) змушують механізми рендерингу тексту змінювати порядок відображення символів на екрані без зміни їхнього логічного порядку в пам'яті. Зловмисники використовують незакриті bidi-символи, щоб маскувати активні умовні перевірки всередині коментарів або рядкових літералів (CVE-2021-42574).
  2. Спуфінг за допомогою омогліфів (UTS #39): Візуально схожі символи з різних абеток (U+0430 кирилична а, U+03BF грецька ο, U+FF21 повноширинна A) дозволяють атакувальникам підробляти доменні імена (IDN homograph attacks), приховано перевизначати змінні у вихідному коді (CVE-2021-42694) або обходити чорні списки ключових слів.

Інспектор символів Unicode та суміжні інструменти для роботи з кодуваннями

Швидка відповідь: Використовуйте Інспектор символів Unicode для посимвольного аудиту рядка на наявність прихованих керівних кодів, омогліфів і байтових послідовностей. Обирайте Таблицю ASCII для швидкого пошуку кодів від 0 до 255, Конвертер Unicode для масового переведення тексту в кодові точки або Екранування Unicode для генерації escape-послідовностей під конкретну мову програмування.

Оберіть відповідну утиліту з набору інструментів для роботи з символами та кодуваннями залежно від того, чи ви проводите діагностику підозрілого рядка, шукаєте стандартний байтовий код у довіднику чи перетворюєте рядкові літерали для вихідного коду:

Можливість Інспектор символів Unicode Таблиця ASCII Конвертер Unicode Екранування Unicode
Основний сценарій Посимвольний діагностичний аудит вставлених рядків або файлів Інтерактивний довідник байтових кодів 0–255 Масова конвертація між текстом, кодовими точками та масивами байтів Екранування та деекранування рядкових літералів вихідного коду
Приховані та Bidi-символи Підсвічує <ZWSP>, <BOM>, <NBSP> та bidi-коди Trojan Source Перелічує керівні коди C0 (0–31, 127) і C1 (128–159) Кодує керівні символи числами без міток безпеки Перетворює не-ASCII символи на видимі послідовності \uXXXX
Пошук омогліфів Виявляє міжмовні двійники UTS #39 і типографську пунктуацію Охоплює лише 7-бітний US-ASCII та ISO-8859-1 Latin-1 Немає аналізу схожих символів із різних абеток Немає аналізу схожих символів із різних абеток
Графеми проти UTF-16 Показує графеми UAX #29, скаляри, одиниці UTF-16 і байти UTF-8 Фіксовані однобайтові (8-bit) рядки таблиці Виводить суцільні потоки UTF-8, UTF-16 та UTF-32 Зберігає або об'єднує сурогати UTF-16 (\uD83D\uDE80 та \u{1F680})
Синтаксис екранування Показує шістнадцяткові кодові точки (U+XXXX) та байти Показує escape-коди C/JS, caret-нотацію (^M) та HTML-сутності Форматує списки шістнадцяткових і десяткових кодових точок Спеціальні режими для JS, JSON, Python, CSS, Rust і HTML
  • Перейдіть до Таблиці ASCII, коли вам потрібен швидкий довідник для 7-бітного US-ASCII (0–127) та розширеного кодування Latin-1 (128–255) із бітовими масками, вісімковими кодами й термінальною caret-нотацією.
  • Використовуйте Конвертер Unicode, якщо потрібно пакетно перетворити цілий блок тексту на неперервні списки U+XXXX або шістнадцяткові потоки UTF-8/UTF-16/UTF-32.
  • Відкрийте Екранування Unicode під час підготовки чи декодування послідовностей \uXXXX, \u{XXXXX}, \xXX або CSS \XXXXXX для JSON-пакетів і вихідного коду, або скористайтеся Лічильником символів для перевірки тексту на відповідність лімітам SEO мета-тегів і сегментів SMS (GSM-7/UCS-2).
Часті запитання

Часті запитання та довідка: Інспектор символів Unicode

Все, що вам потрібно знати про використання безкоштовного онлайн-інструменту інспектор символів юнікод від Utiliome.

Чому властивість String.length у JavaScript повертає 2 або більше для одного видимого символу?

JavaScript, Java та C# вимірюють довжину рядка в 16-бітних кодових одиницях UTF-16, а не в скалярних значеннях Unicode чи розширених графемних кластерах UAX #29. Будь-який символ за межами Базової багатомовної площини (вище U+FFFF, наприклад ракета U+1F680) потребує використання старшої та молодшої сурогатної пари, тому його властивість .length дорівнює 2. Складені послідовності емодзі, об'єднані через з'єднувач нульової ширини U+200D (<ZWJ>) та селектор варіанта накреслення U+FE0F, пов'язують декілька скалярних значень в один візуальний гліф, через що .length часто становить від 5 до 11.

Які невидимі символи Unicode найчастіше ламають JSON, YAML і вихідний код?

Чотири найчастіші винуватці збоїв — це нерозривний пробіл U+00A0 (<NBSP>, який часто випадково вводиться натисканням Option+Пробіл у macOS, порушуючи відступи в YAML і роботу SQL-парсерів), маркер порядку байтів U+FEFF (<BOM>, що потрапляє в середину потоку під час конкатенації файлів, збережених у редакторах Windows), пробіл нульової ширини U+200B (<ZWSP>, скопійований із форматованих документів, PDF-файлів або месенджерів разом з API-токенами) та типографські лапки (U+201C і U+201D), які підміняють прямі ASCII-лапки (U+0022).

Як виявити атаки з перевизначенням напрямку тексту (Trojan Source) у фрагментах коду?

Вразливість Trojan Source (CVE-2021-42574) експлуатує дев'ять двонаправлених керівних символів Unicode з категорії Cf — U+202A (<LRE>), U+202B (<RLE>), U+202C (<PDF>), U+202D (<LRO>), U+202E (<RLO>), U+2066 (<LRI>), U+2067 (<RLI>), U+2068 (<FSI>) та U+2069 (<PDI>) — для візуальної зміни порядку відображення лексем, щоб виконувані інструкції виглядали закоментованими під час код-рев'ю. Вставка підозрілого коду в інспектор миттєво виявляє кожну приховану bidi-кодову точку із зазначенням її точного індексу.

Чому два візуально ідентичні рядки з діакритичними знаками не проходять сувору перевірку на рівність?

Стандарт Unicode допускає декілька канонічно еквівалентних представлень згідно з UAX #15. Наприклад, символ 'é' у формі нормалізації C (NFC) є одним скомпільованим скалярним значенням U+00E9 (байти UTF-8: C3 A9), тоді як у формі нормалізації D (NFD) він складається з двох скалярних значень: U+0065 ('e') та комбінованого знака гострого наголосу U+0301 (байти UTF-8: 65 CC 81). Перевірка обох рядків в інспекторі покаже різницю в послідовностях кодових точок, щоб ви могли застосувати .normalize('NFC') перед хешуванням або порівнянням.

Чи передаються вставлений текст або завантажені файли на якийсь сервер?

Ні. Сегментація символів, вилучення кодових точок, розрахунок байтів UTF-8 і UTF-16LE/BE, а також перевірка на схожі омогліфи виконуються повністю у вашому браузері за допомогою нативних клієнтських API JavaScript. Ключі API, робочі логи та закриті фрагменти вихідного коду залишаються суворо в локальній оперативній пам'яті.