Unicode инспектор на символи

Инспектирайте Unicode низове символ по символ в браузъра си.

Без качване на файловеБез регистрацияНезабавни резултати
Unicode и UTF-8/16Нулева ширина и хомоглифи100% Локално • Без качване на сървър
Провери знаците
Офлайн модулът е готов100% поверителна офлайн работа в браузъра • Без качване в облака
100% Поверително • Без качване на файлове на сървър

Защо да използвате безплатния Unicode инспектор на символи от Utiliome?

Създаден от самото начало за пълна поверителност, моментално изпълнение и без излишни трудности. Без абонаменти или регистрация.

Откриване на невидими символи и Bidi Overrides

Разкрива непечатаеми контролни и форматиращи символи, включително U+200B ZWSP, U+FEFF BOM, U+00A0 NBSP, U+00AD меко тире и двупосочни замествания от тип Trojan Source (от U+202A до U+202E, от U+2066 до U+2069).

По-байтова разбивка на UTF-8 и UTF-16LE/BE

Показва точните шестнадесетични байтови последователности в UTF-8 (от 1 до 4 байта според RFC 3629) заедно с кодовите единици в UTF-16LE и UTF-16BE, като разкрива сурогатни двойки за допълнителни равнини над U+FFFF.

Метрики за графеми (UAX #29) спрямо кодови единици

Сравнява разширените графемни клъстери с броя на скаларните Unicode стойности, UTF-16 кодовите единици в JavaScript и дължината в UTF-8 байтове за диагностициране на бъгове при рязане на низове и препълване на колони в бази данни.

Диагностика на хомоглифи и поверителност без качване

Маркира визуално сходни символи според UTS #39, като глифове на кирилица срещу латиница и типографска пунктуация, изцяло в паметта на браузъра от страна на клиента, така че токени, логове и код никога не напускат устройството ви.

Utiliome срещу традиционните облачни алтернативи

Сравнете нашия локален WebAssembly двигател с остарелите облачни инструменти.

Функция Utiliome (Локален браузър) Остарели облачни конвертори
Откриване на невидими символи и Bidi Overrides Разкрива непечатаеми контролни и форматиращи символи, включително U+200B ZWSP, U+FEFF BOM, U+00A0 NBSP, U+00AD меко тире и двупосочни замествания от тип Trojan Source (от U+202A до U+202E, от U+2066 до U+2069). Ограничени опции без разширено персонализиране
По-байтова разбивка на UTF-8 и UTF-16LE/BE Показва точните шестнадесетични байтови последователности в UTF-8 (от 1 до 4 байта според RFC 3629) заедно с кодовите единици в UTF-16LE и UTF-16BE, като разкрива сурогатни двойки за допълнителни равнини над U+FFFF. Изисква външни инструменти или ръчна обработка
Поверителност и обработка 100% локална обработка в браузъра (0 качвания на сървър) Качва данните на външни облачни сървъри
Цена и изисквания за акаунт 100% безплатно завинаги без регистрация Изисква регистрация или платен абонамент
Как работи

Как да използвате Unicode инспектор на символи в 3 лесни стъпки

Не се изисква инсталиране на софтуер. Всичко работи директно във вашия уеб браузър.

1

Поставете текст или пуснете файл

Поставете низ, идентификатор, запис от лог или качете UTF-8 файл, съдържащ предполагаеми символи с нулева ширина, счупени емоджи последователности или неочаквана дължина в байтове.

2

Инспектирайте метаданните за всеки символ

Прегледайте скаларната кодова точка U+XXXX на всеки символ, официалното Unicode име, общата категория (General Category), принадлежността към блок, шестнадесетичните байтове в UTF-8 и UTF-16LE/BE и предупредителните значки за сигурност.

3

Изолирайте аномалии или копирайте чист изход

Филтрирайте директно до невидими форматиращи символи или подвеждащи хомоглифи, премахнете нежеланите непечатаеми кодови точки или копирайте таблицата с байтова инспекция за доклади за грешки.

Инспектиране на скрити символи, сурогатни двойки и хомоглифи

Бърз отговор: Поставете произволен низ, за да го разложите на отделни скаларни Unicode стойности, разкривайки невидими символи като U+200B интервал с нулева ширина (Zero Width Space) или U+FEFF BOM, многокодови ZWJ емоджи последователности и подвеждащи не-ASCII двойници, заедно с техните точни UTF-8 и UTF-16 байтови последователности.

Грешките при парсване, несъответствията в подписите на уебхукове и неуспешните SQL заявки често произтичат от символи, които се визуализират идентично — или са напълно невидими — в терминалните емулатори и редакторите на код. Разгледайте променлива на средата, копирана от портал за документация или чат съобщение, която изглежда визуално идентична на api_key=prod:

Visual rendering:  api_key=prod
String.length:     14 (expected 12)
UTF-8 byte length: 19 bytes (expected 12 bytes)

Проверката на този низ от 14 единици през Unicode инспектора на символи разкрива три отделни аномалии, скрити в привидно обикновен ASCII текст: водещ маркер за ред на байтовете (<BOM>), кирилски хомоглиф, заместващ латинското a, и вграден интервал с нулева ширина (<ZWSP>):

[
  {
    "index": 0,
    "badge": "<BOM>",
    "codePoint": "U+FEFF",
    "name": "ZERO WIDTH NO-BREAK SPACE",
    "category": "Cf (Format)",
    "block": "Arabic Presentation Forms-B",
    "utf8Hex": "EF BB BF",
    "utf16BE": "FE FF",
    "utf16LE": "FF FE",
    "warning": "Invisible zero-width format character"
  },
  {
    "index": 1,
    "glyph": "а",
    "codePoint": "U+0430",
    "name": "CYRILLIC SMALL LETTER A",
    "category": "Ll (Lowercase Letter)",
    "block": "Cyrillic",
    "utf8Hex": "D0 B0",
    "utf16BE": "04 30",
    "utf16LE": "30 04",
    "warning": "Confusable homoglyph for Latin U+0061 ('a')"
  },
  {
    "index": 2,
    "glyph": "p",
    "codePoint": "U+0070",
    "name": "LATIN SMALL LETTER P",
    "category": "Ll (Lowercase Letter)",
    "block": "Basic Latin",
    "utf8Hex": "70",
    "utf16BE": "00 70",
    "utf16LE": "70 00",
    "warning": null
  },
  {
    "index": 8,
    "badge": "<ZWSP>",
    "codePoint": "U+200B",
    "name": "ZERO WIDTH SPACE",
    "category": "Cf (Format)",
    "block": "General Punctuation",
    "utf8Hex": "E2 80 8B",
    "utf16BE": "20 0B",
    "utf16LE": "0B 20",
    "warning": "Invisible zero-width format character"
  }
]

Инспекторът също така изяснява защо съставните емоджита отчитат коренно различни дължини в различните среди за изпълнение. Инспектирането на единственото видимо емоджи на технолог 👨💻 разкрива три скаларни кодови точки, свързани с <ZWJ> (U+200D), които заемат 5 кодови единици UTF-16 в JavaScript и 11 байта в UTF-8:

Grapheme clusters (UAX #29): 1   -> [ "👨💻" ]
Unicode scalar code points:  3   -> U+1F468 (Man) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
UTF-16 code units (.length): 5   -> D83D DC68 + 200D + D83D DCBB
UTF-8 encoded bytes:         11  -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB

Механика на Unicode кодирането, граници на графемите и рискове за сигурността

Бърз отговор: Unicode съпоставя 1 112 064 валидни скаларни стойности в 17 равнини в UTF-8 с променлива ширина (от 1 до 4 байта според RFC 3629) или UTF-16 (2 или 4 байта чрез сурогатни двойки според RFC 2781). Разминаванията между графемните клъстери, формите на канонична нормализация и невидимите двупосочни контроли причиняват бъгове в парсърите и уязвимости в сигурността.

Скаларни стойности, префиксни битове в UTF-8 (RFC 3629) и сурогати в UTF-16 (RFC 2781)

Кодовото пространство на Unicode обхваща от U+0000 до U+10FFFF в 17 равнини с по 65 536 кодови точки всяка. Като се изключат 2048-те резервирани сурогатни позиции (от U+D800 до U+DFFF), съществуват точно 1 112 064 скаларни стойности в Unicode:

  • UTF-8 кодира основната латиница (Basic Latin) от Равнина 0 (U+0000 до U+007F) в 1 байт (0xxxxxxx), U+0080 до U+07FF в 2 байта (110xxxxx 10xxxxxx), останалите символи от Основната многоезична равнина (BMP) (U+0800 до U+FFFF) в 3 байта (1110xxxx 10xxxxxx 10xxxxxx), а допълнителните астрални равнини (U+10000 до U+10FFFF) в 4 байта (11110xxx 10xxxxxx 10xxxxxx 10xxxxxx). Тъй като продължаващите байтове винаги започват с 10, UTF-8 е самосинхронизиращ се и никога не съдържа нулеви (0x00) байтове вътре в ненулеви символи.
  • UTF-16 представя скаларните стойности от BMP директно като една 16-битова кодова единица. Символите от U+10000 до U+10FFFF изваждат 0x10000, за да получат 20-битово отместване (0x00000 до 0xFFFFF), като разделят горните 10 бита във водещ/старши сурогат (0xD800 до 0xDBFF), а долните 10 бита в краен/младши сурогат (0xDC00 до 0xDFFF). UTF-16BE сериализира първо най-значащия байт (D8 3D DC 80), докато UTF-16LE обръща реда на байтовете във всяка 16-битова единица (3D D8 80 DC).

Канонична еквивалентност (UAX #15) и сегментиране на графеми (UAX #29)

Визуално идентичният текст често има различно базово представяне в байтове. Съгласно Unicode Standard Annex #15, é може да бъде съхранено във Форма на нормализация C (NFC) като предварително съставен символ U+00E9 (UTF-8 C3 A9) или във Форма на нормализация D (NFD) като базов символ U+0065 (e), последван от U+0301 (COMBINING ACUTE ACCENT, обща категория Mn, UTF-8 65 CC 81). Файловите системи на macOS нормализират имената на файловете към NFD форми, докато Linux, Windows и изпращането на формуляри от браузъри използват по подразбиране NFC — което води до провал при наивни побайтови сравнения на низове, търсения на ключове на обекти в S3 и проверки на HMAC, освен ако първо не бъдат нормализирани.

По подобен начин, рязането на низове по UTF-16 индекс (str.slice(0, 10)) може да отдели старши сурогат от неговия младши сурогат (създавайки единични несдвоени сурогати, които се сериализират до заместващи символи U+FFFD в UTF-8) или да раздели базов символ от неговите комбиниращи диакритични знаци, селектори на вариации (U+FE0E, U+FE0F) или регионални индикатори за флагове (U+1F1E6 до U+1F1FF). Възприеманите от потребителя символи трябва да се сегментират по границите на разширените графемни клъстери според UAX #29.

Trojan Source (`CVE-2021-42574`) и подвеждащи символи според UTS #39

Два класа символи в Unicode представляват сериозни рискове за сигурността на приложенията:

  1. Двупосочни замествания (Bidirectional Overrides, Cf): Кодовите точки от U+202A до U+202E (<LRE>, <RLE>, <PDF>, <LRO>, <RLO>) и изолаторите от U+2066 до U+2069 (<LRI>, <RLI>, <FSI>, <PDI>) инструктират механизмите за визуализация на текст да обърнат реда на показване, без да променят логическия ред в паметта. Атакуващите използват незатворени двупосочни контроли, за да маскират активни условни проверки вътре в коментари или низови литерали (CVE-2021-42574).
  2. Спуфинг с хомоглифи (UTS #39): Визуалните двойници между различни писмености (U+0430 кирилско а, U+03BF гръцко ο, U+FF21 пълношироко A) позволяват на злонамерени лица да фалшифицират измамни имена на домейни (IDN хомографски атаки), да препокриват променливи в изходния код (CVE-2021-42694) или да заобикалят списъци с блокирани ключови думи.

Unicode инспектор на символи срещу сродни инструменти за текст и кодиране

Бърз отговор: Използвайте Unicode инспектора на символи за одит на низ символ по символ за скрити контролни кодове, хомоглифи и байтови последователности. Използвайте ASCII таблицата за статични справки на кодове от 0 до 255, Unicode конвертора за масово преобразуване на текст в кодови точки или Инструмента за Unicode Escape за специфични за езика escape литерали.

Изберете правилния инструмент от групата за символи и кодиране в зависимост от това дали диагностицирате неизвестен низ, правите справка в стандартна таблица с байтове или трансформирате низови литерали за изходен код:

Възможност Unicode инспектор на символи ASCII таблица Unicode конвертор Инструмент за Unicode Escape
Основен работен процес Диагностичен одит символ по символ на поставени низове или файлове Интерактивна справочна таблица за байтови кодове 0–255 Масово преобразуване между текст, кодови точки и байтови масиви Ескейпване и деескейпване на низови литерали в изходен код
Предупреждения за скрити и Bidi символи Откроява <ZWSP>, <BOM>, <NBSP> и Trojan Source bidi кодове Изброява контролни кодове C0 (0–31, 127) и C1 (128–159) Кодира контролните кодове числено без значки за сигурност Преобразува не-ASCII символи във видими \uXXXX ескейп последователности
Откриване на хомоглифи Маркира двойници между писменостите по UTS #39 и типографска пунктуация Покрива само 7-битов US-ASCII и ISO-8859-1 Latin-1 Няма анализ на подвеждащи писмености Няма анализ на подвеждащи писмености
Разлика между графеми и UTF-16 Показва графеми по UAX #29, скаларни точки, UTF-16 единици и UTF-8 байтове Редове в таблицата с фиксиран 1 байт (8-bit) Извежда пълни потоци в UTF-8, UTF-16 и UTF-32 Запазва или сдвоява UTF-16 сурогати (\uD83D\uDE80 срещу \u{1F680})
Езиков Escape синтаксис Показва сурови шестнадесетични кодови точки (U+XXXX) и байтови стойности Показва C/JS ескейпове, карет нотация (^M) и HTML ентитита Форматира шестнадесетични/десетични списъци с кодови точки Специализирани режими за ескейпване в JS, JSON, Python, CSS, Rust и HTML
  • Превключете към ASCII таблица, когато се нуждаете от бърза справочна таблица за 7-битов US-ASCII (0–127) и разширен Latin-1 (128–255) с двоични битови маски, осмични кодове и терминална карет нотация.
  • Използвайте Unicode конвертор, когато искате пакетно да преобразувате цял блок от текст в непрекъснати списъци U+XXXX или шестнадесетични потоци в UTF-8/UTF-16/UTF-32.
  • Използвайте Инструмент за Unicode Escape, когато подготвяте или декодирате последователности \uXXXX, \u{XXXXX}, \xXX или CSS \XXXXXX за JSON полезни товари и файлове с изходен код, или отворете Брояч на символи, когато проверявате текст спрямо ограниченията за SEO мета тагове и SMS сегменти в GSM-7/UCS-2.
ЧЗВ

Често задавани въпроси и техническо ръководство за Unicode инспектор на символи

Всичко, което трябва да знаете за използването на безплатния онлайн unicode инспектор на символи от Utiliome.

Защо String.length в JavaScript връща 2 или повече за един-единствен видим символ?

JavaScript, Java и C# измерват дължината на низа в 16-битови кодови единици UTF-16, а не в скаларни стойности на Unicode или разширени графемни клъстери по UAX #29. Всеки символ извън Основната многоезична равнина (над U+FFFF, като например U+1F680 Ракета) изисква двойка от старши и младши сурогат, което му дава .length със стойност 2. Съставните емоджи последователности, свързани с U+200D съединител с нулева ширина (<ZWJ>) и U+FE0F селектор на вариации 16, комбинират множество скаларни стойности в един визуален глиф, като често произвеждат стойности на .length между 5 и 11.

Кои невидими Unicode символи най-често чупят JSON, YAML и изходен код?

Четирите най-чести причинители са U+00A0 неразделим интервал (<NBSP>, често въвеждан случайно чрез Option+Space на macOS, което чупи отстъпите в YAML и SQL парсърите), U+FEFF маркер за ред на байтовете (<BOM>, вграден по средата на потока при конкатенация на файлове, запазени от редактори в Windows), U+200B интервал с нулева ширина (<ZWSP>, копиран от форматирани документи, PDF файлове или чат приложения в API токени) и типографски къдрави кавички (U+201C и U+201D), заместващи правите ASCII кавички (U+0022).

Как да открия Trojan Source атаки с двупосочно заместване (bidirectional override) във фрагменти от код?

Trojan Source (CVE-2021-42574) експлоатира девет двупосочни контролни символа от обща категория Cf в Unicode — U+202A (<LRE>), U+202B (<RLE>), U+202C (<PDF>), U+202D (<LRO>), U+202E (<RLO>), U+2066 (<LRI>), U+2067 (<RLI>), U+2068 (<FSI>) и U+2069 (<PDI>) — за да пренареди визуално токените в изходния код, така че изпълними инструкции да изглеждат като коментирани по време на преглед от човек. Поставянето на подозрителен код в инспектора разкрива всяка скрита bidi кодова точка на точния ѝ символен индекс.

Защо два визуално идентични низа с ударения се провалят при проверки за стриктно равенство?

Unicode позволява множество канонично еквивалентни представяния съгласно UAX #15. Например 'é' във Форма на нормализация C (NFC) е единична предварително съставена скаларна стойност U+00E9 (UTF-8 байтове C3 A9), докато във Форма на нормализация D (NFD) се състои от две скаларни стойности: U+0065 ('e'), последвана от комбиниращо остро ударение U+0301 (UTF-8 байтове 65 CC 81). Инспектирането на двата низа разкрива различаващите се последователности от кодови точки, за да можете да приложите .normalize('NFC') преди хеширане или сравнение.

Изпращат ли се поставеният текст или качените данни към някакъв сървър?

Не. Сегментирането на символите, извличането на кодови точки, изчисляването на UTF-8 и UTF-16LE/BE байтове и проверките за подвеждащи хомоглифи се изпълняват изцяло във вашия браузър чрез вградени клиентски JavaScript API. API ключове, продукционни логове и частни фрагменти от изходен код остават строго в локалната памет.