Инспектор символов Unicode

Посимвольный анализ строк Unicode прямо в браузере.

Без загрузки на серверБез регистрацииМгновенный результат
Unicode и UTF-8/16Нулевая ширина и омоглифы100% Локально • Без загрузок
Анализ символов
Офлайн-движок готов100% приватная работа в браузере • Без облачных загрузок
100% Конфиденциально • Без загрузки файлов на сервер

Почему выбирают бесплатный Инспектор символов Unicode от Utiliome?

Создано с нуля для полной конфиденциальности, мгновенной работы и комфорта. Без подписок, платных подписок и регистрации.

Обнаружение невидимых и Bidi-символов

Выявляет непечатаемые управляющие символы и символы форматирования, включая U+200B ZWSP, U+FEFF BOM, U+00A0 NBSP, мягкий перенос U+00AD и переопределения направленности текста Trojan Source (от U+202A до U+202E, от U+2066 до U+2069).

Побайтовый разбор UTF-8 и UTF-16LE/BE

Отображает точные шестнадцатеричные последовательности байтов UTF-8 (от 1 до 4 байтов согласно RFC 3629) наряду с кодовыми единицами UTF-16LE и UTF-16BE, наглядно раскрывая суррогатные пары для дополнительных плоскостей выше U+FFFF.

Метрики графем UAX #29 и кодовых единиц

Сравнивает расширенные графемные кластеры со скалярными значениями Unicode, кодовыми единицами UTF-16 в JavaScript и длиной в байтах UTF-8 для диагностики ошибок обрезки строк и переполнения столбцов БД.

Диагностика омоглифов и приватность в браузере

Помечает визуально схожие символы по стандарту UTS #39 (например, кириллические глифы вместо латинских и типографские кавычки) полностью на стороне клиента в памяти браузера — токены, логи и код не покидают ваше устройство.

Utiliome в сравнении с облачными аналогами

Сравните наш локальный движок WebAssembly с традиционными облачными сервисами.

Критерий Utiliome (Локально в браузере) Облачные конвертеры
Обнаружение невидимых и Bidi-символов Выявляет непечатаемые управляющие символы и символы форматирования, включая U+200B ZWSP, U+FEFF BOM, U+00A0 NBSP, мягкий перенос U+00AD и переопределения направленности текста Trojan Source (от U+202A до U+202E, от U+2066 до U+2069). Ограниченные настройки без гибкой кастомизации
Побайтовый разбор UTF-8 и UTF-16LE/BE Отображает точные шестнадцатеричные последовательности байтов UTF-8 (от 1 до 4 байтов согласно RFC 3629) наряду с кодовыми единицами UTF-16LE и UTF-16BE, наглядно раскрывая суррогатные пары для дополнительных плоскостей выше U+FFFF. Требует сторонних программ или ручной обработки
Конфиденциальность и обработка 100% локально в браузере (без загрузки на сервер) Загружает данные на внешние облачные серверы
Стоимость и регистрация 100% бесплатно навсегда без создания аккаунта Требует регистрации аккаунта или платной подписки
Как это работает

Инспектор символов Unicode: как пользоваться за 3 простых шага

Установка программ не требуется. Все работает прямо в вашем веб-браузере.

1

Вставьте текст или перетащите файл

Вставьте строку, идентификатор, запись из лога или загрузите файл в кодировке UTF-8 с подозрением на символы нулевой ширины, поврежденные последовательности эмодзи или неожиданную длину в байтах.

2

Изучите метаданные каждого символа

Проверьте скалярную кодовую точку U+XXXX каждого символа, официальное имя Unicode, общую категорию (General Category), блок, шестнадцатеричные байты UTF-8 и UTF-16LE/BE, а также индикаторы угроз безопасности.

3

Изолируйте аномалии или скопируйте чистый текст

Отфильтруйте список до невидимых символов форматирования или опасных омоглифов, удалите нежелательные непечатаемые кодовые точки или скопируйте побайтовую таблицу для баг-репорта.

Анализ скрытых символов, суррогатных пар и омоглифов

Быстрый ответ: Вставьте любую строку, чтобы разложить ее на отдельные скалярные значения Unicode и выявить невидимые символы (например, пробел нулевой ширины U+200B или маркер U+FEFF BOM), составные ZWJ-эмодзи и визуально схожие не-ASCII омоглифы вместе с их точными байтовыми последовательностями UTF-8 и UTF-16.

Ошибки парсеров, несовпадение подписей вебхуков и сбои SQL-запросов часто вызваны символами, которые выглядят абсолютно одинаково — или вовсе не отображаются — в эмуляторах терминала и редакторах кода. Рассмотрим переменную окружения, скопированную из портала документации или корпоративного чата, которая визуально ничем не отличается от api_key=prod:

Визуальное отображение: api_key=prod
String.length:          14 (ожидалось 12)
Длина в байтах UTF-8:   19 байтов (ожидалось 12 байтов)

Проверка этой строки из 14 кодовых единиц через Инспектор символов Unicode выявляет три скрытые аномалии внутри текста, кажущегося обычным ASCII: начальный маркер порядка байтов (<BOM>), кириллический омоглиф вместо латинской буквы a и встроенный пробел нулевой ширины (<ZWSP>):

[
  {
    "index": 0,
    "badge": "<BOM>",
    "codePoint": "U+FEFF",
    "name": "ZERO WIDTH NO-BREAK SPACE",
    "category": "Cf (Format)",
    "block": "Arabic Presentation Forms-B",
    "utf8Hex": "EF BB BF",
    "utf16BE": "FE FF",
    "utf16LE": "FF FE",
    "warning": "Invisible zero-width format character"
  },
  {
    "index": 1,
    "glyph": "а",
    "codePoint": "U+0430",
    "name": "CYRILLIC SMALL LETTER A",
    "category": "Ll (Lowercase Letter)",
    "block": "Cyrillic",
    "utf8Hex": "D0 B0",
    "utf16BE": "04 30",
    "utf16LE": "30 04",
    "warning": "Confusable homoglyph for Latin U+0061 ('a')"
  },
  {
    "index": 2,
    "glyph": "p",
    "codePoint": "U+0070",
    "name": "LATIN SMALL LETTER P",
    "category": "Ll (Lowercase Letter)",
    "block": "Basic Latin",
    "utf8Hex": "70",
    "utf16BE": "00 70",
    "utf16LE": "70 00",
    "warning": null
  },
  {
    "index": 8,
    "badge": "<ZWSP>",
    "codePoint": "U+200B",
    "name": "ZERO WIDTH SPACE",
    "category": "Cf (Format)",
    "block": "General Punctuation",
    "utf8Hex": "E2 80 8B",
    "utf16BE": "20 0B",
    "utf16LE": "0B 20",
    "warning": "Invisible zero-width format character"
  }
]

Инспектор также наглядно объясняет, почему составные эмодзи показывают совершенно разную длину в различных средах выполнения. Анализ одного видимого эмодзи технолога 👨💻 обнаруживает три скалярные кодовые точки, соединенные через <ZWJ> (U+200D), которые занимают 5 кодовых единиц UTF-16 в JavaScript и 11 байтов в UTF-8:

Графемные кластеры (UAX #29): 1   -> [ "👨💻" ]
Скалярные кодовые точки:      3   -> U+1F468 (Man) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
Кодовые единицы UTF-16:       5   -> D83D DC68 + 200D + D83D DCBB
Закодированные байты UTF-8:   11  -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB

Механика кодирования Unicode, границы графем и риски безопасности

Быстрый ответ: Unicode распределяет 1 112 064 допустимых скалярных значения по 17 плоскостям, кодируя их в формат переменной длины UTF-8 (от 1 до 4 байтов по RFC 3629) или UTF-16 (2 или 4 байта через суррогатные пары по RFC 2781). Расхождения между графемными кластерами, формами канонической нормализации и невидимыми bidi-символами приводят к ошибкам парсеров и уязвимостям.

Скалярные значения, префиксные биты UTF-8 (RFC 3629) и суррогаты UTF-16 (RFC 2781)

Кодовое пространство Unicode охватывает диапазон от U+0000 до U+10FFFF и разделено на 17 плоскостей по 65 536 кодовых точек в каждой. За вычетом 2048 зарезервированных позиций для суррогатов (U+D800–U+DFFF) существует ровно 1 112 064 скалярных значения Unicode:

  • UTF-8 кодирует базовую латиницу нулевой плоскости (U+0000–U+007F) 1 байтом (0xxxxxxx), диапазон U+0080–U+07FF — 2 байтами (110xxxxx 10xxxxxx), остальные символы Базовой многоязыковой плоскости (BMP, U+0800–U+FFFF) — 3 байтами (1110xxxx 10xxxxxx 10xxxxxx), а дополнительные астральные плоскости (U+10000–U+10FFFF) — 4 байтами (11110xxx 10xxxxxx 10xxxxxx 10xxxxxx). Поскольку байты продолжения всегда начинаются с битов 10, кодировка UTF-8 является самосинхронизирующейся и никогда не содержит нулевых байтов (0x00) внутри ненулевых символов.
  • UTF-16 представляет скалярные значения из BMP напрямую в виде одной 16-битной кодовой единицы. Для символов из диапазона U+10000–U+10FFFF вычитается 0x10000, образуя 20-битное смещение (0x00000–0xFFFFF), где старшие 10 бит формируют старший (ведущий) суррогат (0xD800–0xDBFF), а младшие 10 бит — младший (ведомый) суррогат (0xDC00–0xDFFF). В UTF-16BE первым записывается старший значащий байт (D8 3D DC 80), тогда как в UTF-16LE порядок байтов внутри каждого 16-битного слова обратный (3D D8 80 DC).

Каноническая эквивалентность (UAX #15) и сегментация графем (UAX #29)

Визуально идентичный текст нередко имеет совершенно разное байтовое представление. Согласно приложению Unicode Standard Annex #15, символ é может храниться в форме нормализации C (NFC) как единый предкомпилированный символ U+00E9 (UTF-8 C3 A9) или в форме нормализации D (NFD) как базовая буква U+0065 (e), за которой следует модифицирующий знак острого ударения U+0301 (COMBINING ACUTE ACCENT, категория Mn, UTF-8 65 CC 81). Файловые системы macOS приводят имена файлов к форме NFD, тогда как Linux, Windows и веб-формы в браузерах по умолчанию используют NFC — из-за этого наивное побайтовое сравнение строк, поиск ключей объектов в S3 и проверка HMAC-подписей завершаются ошибкой без предварительной нормализации.

Аналогично, обрезка строк по индексам UTF-16 (str.slice(0, 10)) может оторвать старший суррогат от младшего (порождая одиночные непарные суррогаты, которые при сериализации в UTF-8 заменяются на U+FFFD) или отделить базовый символ от комбинируемых диакритических знаков, селекторов вариантов начертания (U+FE0E, U+FE0F) либо региональных индикаторов флагов (U+1F1E6–U+1F1FF). Воспринимаемые пользователем символы необходимо сегментировать строго по границам расширенных графемных кластеров UAX #29.

Атаки Trojan Source (`CVE-2021-42574`) и омоглифы UTS #39

Два класса символов в стандарте Unicode представляют серьезную угрозу для безопасности приложений:

  1. Переопределения направленности текста (Cf): Кодовые точки с U+202A по U+202E (<LRE>, <RLE>, <PDF>, <LRO>, <RLO>) и изоляторы с U+2066 по U+2069 (<LRI>, <RLI>, <FSI>, <PDI>) заставляют механизмы рендеринга текста менять порядок отображения символов на экране без изменения их логического порядка в памяти. Злоумышленники используют незакрытые bidi-символы, чтобы маскировать активные условные проверки внутри комментариев или строковых литералов (CVE-2021-42574).
  2. Спуфинг с помощью омоглифов (UTS #39): Визуально схожие символы из разных алфавитов (U+0430 кириллическая а, U+03BF греческая ο, U+FF21 полноширинная A) позволяют атакующим подделывать доменные имена (IDN homograph attacks), скрытно переопределять переменные в исходном коде (CVE-2021-42694) или обходить черные списки ключевых слов.

Инспектор символов Unicode и смежные инструменты для работы с кодировками

Быстрый ответ: Используйте Инспектор символов Unicode для посимвольного аудита строки на наличие скрытых управляющих кодов, омоглифов и байтовых последовательностей. Выбирайте Таблицу ASCII для быстрого поиска кодов от 0 до 255, Конвертер Unicode для массового перевода текста в кодовые точки или Экранирование Unicode для генерации escape-последовательностей под конкретный язык программирования.

Выберите подходящую утилиту из набора инструментов для работы с символами и кодировками в зависимости от того, проводите ли вы диагностику подозрительной строки, ищете стандартный байтовый код в справочнике или преобразуете строковые литералы для исходного кода:

Возможность Инспектор символов Unicode Таблица ASCII Конвертер Unicode Экранирование Unicode
Основной сценарий Посимвольный диагностический аудит вставленных строк или файлов Интерактивный справочник байтовых кодов 0–255 Массовая конвертация между текстом, кодовыми точками и массивами байтов Экранирование и деэкранирование строковых литералов исходного кода
Скрытые и Bidi-символы Подсвечивает <ZWSP>, <BOM>, <NBSP> и bidi-коды Trojan Source Перечисляет управляющие коды C0 (0–31, 127) и C1 (128–159) Кодирует управляющие символы числами без меток безопасности Преобразует не-ASCII символы в видимые последовательности \uXXXX
Поиск омоглифов Выявляет межъязыковые двойники UTS #39 и типографскую пунктуацию Охватывает только 7-битный US-ASCII и ISO-8859-1 Latin-1 Нет анализа похожих символов из разных алфавитов Нет анализа похожих символов из разных алфавитов
Графемы против UTF-16 Показывает графемы UAX #29, скаляры, единицы UTF-16 и байты UTF-8 Фиксированные однобайтовые (8-bit) строки таблицы Выводит сплошные потоки UTF-8, UTF-16 и UTF-32 Сохраняет или объединяет суррогаты UTF-16 (\uD83D\uDE80 и \u{1F680})
Синтаксис экранирования Показывает шестнадцатеричные кодовые точки (U+XXXX) и байты Показывает escape-коды C/JS, caret-нотацию (^M) и HTML-сущности Форматирует списки шестнадцатеричных и десятичных кодовых точек Специальные режимы для JS, JSON, Python, CSS, Rust и HTML
  • Перейдите к Таблице ASCII, когда вам нужен быстрый справочник для 7-битного US-ASCII (0–127) и расширенной кодировки Latin-1 (128–255) с битовыми масками, восьмеричными кодами и терминальной caret-нотацией.
  • Используйте Конвертер Unicode, если требуется пакетно преобразовать целый блок текста в непрерывные списки U+XXXX или шестнадцатеричные потоки UTF-8/UTF-16/UTF-32.
  • Откройте Экранирование Unicode при подготовке или декодировании последовательностей \uXXXX, \u{XXXXX}, \xXX или CSS \XXXXXX для JSON-пакетов и исходного кода, либо воспользуйтесь Счетчиком символов для проверки текста на соответствие лимитам SEO мета-тегов и сегментов SMS (GSM-7/UCS-2).
Частые вопросы

Частые вопросы и руководство: Инспектор символов Unicode

Все, что нужно знать об использовании бесплатного онлайн-инструмента инспектор символов юникод от Utiliome.

Почему свойство String.length в JavaScript возвращает 2 или больше для одного видимого символа?

JavaScript, Java и C# измеряют длину строки в 16-битных кодовых единицах UTF-16, а не в скалярных значениях Unicode или расширенных графемных кластерах UAX #29. Любой символ за пределами Базовой многоязыковой плоскости (выше U+FFFF, например ракета U+1F680) требует использования старшей и младшей суррогатной пары, поэтому его свойство .length равно 2. Составные последовательности эмодзи, объединенные через соединитель нулевой ширины U+200D (<ZWJ>) и селектор варианта начертания U+FE0F, связывают несколько скалярных значений в один визуальный глиф, из-за чего .length часто составляет от 5 до 11.

Какие невидимые символы Unicode чаще всего ломают JSON, YAML и исходный код?

Четыре самых частых виновника сбоев — это неразрывный пробел U+00A0 (<NBSP>, который часто случайно вводится нажатием Option+Пробел в macOS, нарушая отступы в YAML и работу SQL-парсеров), маркер порядка байтов U+FEFF (<BOM>, попадающий в середину потока при конкатенации файлов, сохраненных в редакторах Windows), пробел нулевой ширины U+200B (<ZWSP>, копируемый из документов с форматированием, PDF-файлов или мессенджеров вместе с API-токенами) и типографские кавычки-елочки или лапки (U+201C и U+201D), подменяющие прямые ASCII-кавычки (U+0022).

Как обнаружить атаки с переопределением направленности текста (Trojan Source) в фрагментах кода?

Уязвимость Trojan Source (CVE-2021-42574) эксплуатирует девять двунаправленных управляющих символов Unicode из категории Cf — U+202A (<LRE>), U+202B (<RLE>), U+202C (<PDF>), U+202D (<LRO>), U+202E (<RLO>), U+2066 (<LRI>), U+2067 (<RLI>), U+2068 (<FSI>) и U+2069 (<PDI>) — для визуального изменения порядка отображения лексем, чтобы исполняемые инструкции выглядели закомментированными при код-ревью. Вставка подозрительного кода в инспектор мгновенно выявляет каждую скрытую bidi-кодовую точку с указанием ее точного индекса.

Почему две визуально идентичные строки с диакритическими знаками не проходят строгую проверку на равенство?

Стандарт Unicode допускает несколько канонически эквивалентных представлений согласно UAX #15. Например, символ 'é' в форме нормализации C (NFC) представляет собой одно предкомпилированное скалярное значение U+00E9 (байты UTF-8: C3 A9), тогда как в форме нормализации D (NFD) он состоит из двух скалярных значений: U+0065 ('e') и следующего за ним комбинируемого знака острого ударения U+0301 (байты UTF-8: 65 CC 81). Проверка обеих строк в инспекторе покажет разницу в последовательностях кодовых точек, чтобы вы могли применить .normalize('NFC') перед хешированием или сравнением.

Передаются ли вставленный текст или загруженные файлы на какой-либо сервер?

Нет. Сегментация символов, извлечение кодовых точек, расчет байтов UTF-8 и UTF-16LE/BE, а также проверка на схожие омоглифы выполняются полностью в вашем браузере с использованием нативных клиентских API JavaScript. Ключи API, рабочие логи и закрытые фрагменты исходного кода остаются строго в локальной оперативной памяти.