Inspektor Znaków Unicode

Analizuj ciągi Unicode znak po znaku w przeglądarce.

Bez przesyłania plikówBez rejestracjiNatychmiastowe wyniki
Unicode i UTF-8/16Zerowej szer. i homoglyfy100% Lokalnie • Zero Wysyłania
Zbadaj znaki
Silnik offline gotowy100% prywatna praca w przeglądarce • Bez wysyłania do chmury
100% prywatności • Zero wysyłania plików na serwer

Dlaczego warto używać darmowego Inspektor Znaków Unicode od Utiliome?

Stworzone od podstaw dla pełnej prywatności i natychmiastowego działania. Bez subskrypcji, opłat i rejestracji.

Wykrywanie Niewidocznych Znaków i Bidi Override

Ujawnia niedrukowalne znaki sterujące i formatujące, w tym U+200B ZWSP, U+FEFF BOM, U+00A0 NBSP, U+00AD miękki dywiz oraz dwukierunkowe nadpisania Trojan Source (od U+202A do U+202E, od U+2066 do U+2069).

Rozbicie na Bajty UTF-8 oraz UTF-16LE/BE

Wyświetla dokładne szesnastkowe sekwencje bajtów UTF-8 (od 1 do 4 bajtów zgodnie z RFC 3629) obok jednostek kodowych UTF-16LE i UTF-16BE, odsłaniając pary surogatów dla płaszczyzn dodatkowych powyżej U+FFFF.

Metryki Grafemów UAX #29 a Jednostek Kodowych

Porównuje rozszerzone klastry grafemów z liczbą wartości skalarnych Unicode, jednostkami kodowymi UTF-16 w JavaScript oraz długością bajtową UTF-8, ułatwiając diagnozowanie błędów cięcia ciągów i przepełnień kolumn w bazach danych.

Diagnostyka Homoglifów i Pełna Prywatność Lokalna

Oznacza mylące znaki podobne według standardu UTS #39 (np. glify cyrylicy kontra łacińskie) oraz typograficzne znaki interpunkcyjne całkowicie po stronie klienta w pamięci przeglądarki — tokeny, logi i kod nigdy nie opuszczają Twojego urządzenia.

Utiliome kontra tradycyjne narzędzia w chmurze

Porównaj nasz lokalny silnik WebAssembly ze starymi narzędziami chmurowymi.

Funkcja Utiliome (Lokalnie w przeglądarce) Tradycyjne konwertery chmurowe
Wykrywanie Niewidocznych Znaków i Bidi Override Ujawnia niedrukowalne znaki sterujące i formatujące, w tym U+200B ZWSP, U+FEFF BOM, U+00A0 NBSP, U+00AD miękki dywiz oraz dwukierunkowe nadpisania Trojan Source (od U+202A do U+202E, od U+2066 do U+2069). Ograniczone opcje bez zaawansowanej konfiguracji
Rozbicie na Bajty UTF-8 oraz UTF-16LE/BE Wyświetla dokładne szesnastkowe sekwencje bajtów UTF-8 (od 1 do 4 bajtów zgodnie z RFC 3629) obok jednostek kodowych UTF-16LE i UTF-16BE, odsłaniając pary surogatów dla płaszczyzn dodatkowych powyżej U+FFFF. Wymaga zewnętrznych narzędzi lub ręcznej obróbki
Prywatność i przetwarzanie danych 100% lokalnie w przeglądarce (zero wysyłania na serwer) Przesyła dane na zewnętrzne serwery w chmurze
Cena i wymóg konta 100% za darmo na zawsze bez rejestracji Wymaga rejestracji konta lub płatnej subskrypcji
Jak to działa

Inspektor Znaków Unicode – instrukcja w 3 prostych krokach

Instalacja oprogramowania nie jest wymagana. Wszystko działa w Twojej przeglądarce.

1

Wklej Tekst lub Upuść Plik

Wklej ciąg znaków, identyfikator, wpis z logów lub prześlij plik UTF-8 zawierający podejrzewane znaki zerowej szerokości, uszkodzone sekwencje emoji albo nieoczekiwane długości bajtowe.

2

Sprawdź Metadane Każdego Znaku

Przejrzyj skalarny punkt kodowy U+XXXX każdego znaku, oficjalną nazwę Unicode, kategorię ogólną (General Category), przypisany blok, bajty szesnastkowe UTF-8 oraz UTF-16LE/BE, a także ostrzeżenia bezpieczeństwa.

3

Wyizoluj Anomalie lub Skopiuj Czysty Wynik

Przefiltruj widok bezpośrednio do niewidocznych znaków formatujących lub mylących homoglifów, usuń niechciane niedrukowalne punkty kodowe albo skopiuj tabelę inspekcji na poziomie bajtów do raportu o błędzie.

Analiza Ukrytych Znaków, Par Surogatów i Homoglifów

Szybka odpowiedź: Wklej dowolny ciąg tekstowy, aby rozłożyć go na pojedyncze wartości skalarne Unicode, ujawniając niewidoczne znaki, takie jak U+200B Zero Width Space czy U+FEFF BOM, wielopunktowe sekwencje emoji ZWJ oraz mylące znaki spoza ASCII wraz z ich dokładnymi sekwencjami bajtów UTF-8 i UTF-16.

Błędy parserów, niezgodności podpisów webhooków oraz nieudane zapytania SQL często wynikają ze znaków, które w emulatorach terminali i edytorach kodu wyglądają identycznie — lub są całkowicie niewidoczne. Rozważmy zmienną środowiskową skopiowaną z portalu dokumentacji lub komunikatora, która wizualnie wygląda identycznie jak api_key=prod:

Wygląd wizualny:      api_key=prod
String.length:        14 (oczekiwano 12)
Długość bajtów UTF-8: 19 bajtów (oczekiwano 12 bajtów)

Przepuszczenie tego 14-jednostkowego ciągu przez Inspektor Znaków Unicode ujawnia trzy odrębne anomalie ukryte wewnątrz pozornie zwykłego tekstu ASCII: początkowy znacznik kolejności bajtów (<BOM>), cyrylicki homoglif zastępujący łacińskie a oraz osadzoną spację o zerowej szerokości (<ZWSP>):

[
  {
    "index": 0,
    "badge": "<BOM>",
    "codePoint": "U+FEFF",
    "name": "ZERO WIDTH NO-BREAK SPACE",
    "category": "Cf (Format)",
    "block": "Arabic Presentation Forms-B",
    "utf8Hex": "EF BB BF",
    "utf16BE": "FE FF",
    "utf16LE": "FF FE",
    "warning": "Invisible zero-width format character"
  },
  {
    "index": 1,
    "glyph": "а",
    "codePoint": "U+0430",
    "name": "CYRILLIC SMALL LETTER A",
    "category": "Ll (Lowercase Letter)",
    "block": "Cyrillic",
    "utf8Hex": "D0 B0",
    "utf16BE": "04 30",
    "utf16LE": "30 04",
    "warning": "Confusable homoglyph for Latin U+0061 ('a')"
  },
  {
    "index": 2,
    "glyph": "p",
    "codePoint": "U+0070",
    "name": "LATIN SMALL LETTER P",
    "category": "Ll (Lowercase Letter)",
    "block": "Basic Latin",
    "utf8Hex": "70",
    "utf16BE": "00 70",
    "utf16LE": "70 00",
    "warning": null
  },
  {
    "index": 8,
    "badge": "<ZWSP>",
    "codePoint": "U+200B",
    "name": "ZERO WIDTH SPACE",
    "category": "Cf (Format)",
    "block": "General Punctuation",
    "utf8Hex": "E2 80 8B",
    "utf16BE": "20 0B",
    "utf16LE": "0B 20",
    "warning": "Invisible zero-width format character"
  }
]

Inspektor wyjaśnia również, dlaczego złożone emoji składające się z wielu punktów kodowych zwracają zupełnie różne długości w zależności od środowiska uruchomieniowego. Analiza pojedynczego widocznego emoji technologa 👨💻 odkrywa trzy skalarne punkty kodowe połączone znakiem <ZWJ> (U+200D), które zajmują 5 jednostek kodowych UTF-16 w JavaScript oraz 11 bajtów w kodowaniu UTF-8:

Klastry grafemów (UAX #29):   1   -> [ "👨💻" ]
Skalarne punkty Unicode:      3   -> U+1F468 (Man) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
Jednostki UTF-16 (.length):   5   -> D83D DC68 + 200D + D83D DCBB
Zakodowane bajty UTF-8:       11  -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB

Mechanika Kodowania Unicode, Granice Grafemów i Zagrożenia Bezpieczeństwa

Szybka odpowiedź: Unicode mapuje 1 112 064 prawidłowych wartości skalarnych w 17 płaszczyznach na kodowanie o zmiennej szerokości UTF-8 (od 1 do 4 bajtów wg RFC 3629) lub UTF-16 (2 lub 4 bajty przez pary surogatów wg RFC 2781). Rozbieżności między klastrami grafemów, formami normalizacji kanonicznej i niewidocznymi znakami sterującymi bidi wywołują błędy parserów oraz luki bezpieczeństwa.

Wartości Skalarne, Bity Prefiksu UTF-8 (RFC 3629) i Surogaty UTF-16 (RFC 2781)

Przestrzeń kodowa Unicode rozciąga się od U+0000 do U+10FFFF w ramach 17 płaszczyzn po 65 536 punktów kodowych każda. Po wykluczeniu 2048 zarezerwowanych pozycji surogatów (U+D800 do U+DFFF), istnieje dokładnie 1 112 064 wartości skalarnych Unicode:

  • UTF-8 koduje podstawowy alfabet łaciński Płaszczyzny 0 (U+0000 do U+007F) na 1 bajcie (0xxxxxxx), przedział U+0080 do U+07FF na 2 bajtach (110xxxxx 10xxxxxx), pozostałe znaki z Podstawowej Płaszczyzny Wielojezycznej (BMP, od U+0800 do U+FFFF) na 3 bajtach (1110xxxx 10xxxxxx 10xxxxxx), a dodatkowe płaszczyzny astralne (U+10000 do U+10FFFF) na 4 bajtach (11110xxx 10xxxxxx 10xxxxxx 10xxxxxx). Ponieważ bajty kontynuacji zawsze zaczynają się od bitów 10, kodowanie UTF-8 jest samosynchronizujące i nigdy nie zawiera bajtów zerowych (0x00) wewnątrz znaków innych niż NUL.
  • UTF-16 reprezentuje wartości skalarne BMP bezpośrednio jako jedną 16-bitową jednostkę kodową. Od znaków z przedziału od U+10000 do U+10FFFF odejmuje się 0x10000, uzyskując 20-bitowe przesunięcie (0x00000 do 0xFFFFF), które dzieli górne 10 bitów na surogat wysoki/wiodący (0xD800 do 0xDBFF), a dolne 10 bitów na surogat niski/końcowy (0xDC00 do 0xDFFF). UTF-16BE zapisuje najpierw najbardziej znaczący bajt (D8 3D DC 80), natomiast UTF-16LE odwraca kolejność bajtów wewnątrz każdej 16-bitowej jednostki (3D D8 80 DC).

Równoważność Kanoniczna (UAX #15) i Segmentacja Grafemów (UAX #29)

Wizualnie identyczny tekst często posiada inną reprezentację bajtową pod spodem. Zgodnie ze standardem Unicode Standard Annex #15, znak é może być zapisany w Formie Normalizacji C (NFC) jako prekomponowany punkt U+00E9 (UTF-8 C3 A9) lub w Formie Normalizacji D (NFD) jako znak bazowy U+0065 (e), po którym następuje U+0301 (COMBINING ACUTE ACCENT, kategoria ogólna Mn, UTF-8 65 CC 81). Systemy plików macOS normalizują nazwy plików w kierunku NFD, podczas gdy Linux, Windows oraz formularze przeglądarek domyślnie używają NFC — przez co naiwne porównania ciągów bajt po bajcie, wyszukiwanie kluczy obiektów S3 i weryfikacja podpisów HMAC kończą się niepowodzeniem bez wcześniejszej normalizacji.

Podobnie, cięcie ciągów według indeksu UTF-16 (str.slice(0, 10)) może oddzielić wysoki surogat od niskiego surogatu (tworząc osierocone niesparowane surogaty, które przy serializacji do UTF-8 zamieniają się w znaki zastępcze U+FFFD) lub odciąć znak bazowy od jego łączących znaków diakrytycznych, selektorów wariacji (U+FE0E, U+FE0F) czy regionalnych wskaźników flag (U+1F1E6 do U+1F1FF). Znaki postrzegane przez użytkownika muszą być dzielone wzdłuż granic rozszerzonych klastrów grafemów UAX #29.

Trojan Source (`CVE-2021-42574`) i Mylące Znaki UTS #39

Dwie klasy znaków w standardzie Unicode stwarzają poważne zagrożenia dla bezpieczeństwa aplikacji:

  1. Nadpisania Dwukierunkowe (Cf): Punkty kodowe od U+202A do U+202E (<LRE>, <RLE>, <PDF>, <LRO>, <RLO>) oraz izolatory od U+2066 do U+2069 (<LRI>, <RLI>, <FSI>, <PDI>) nakazują mechanizmom renderowania tekstu odwrócenie kolejności wyświetlania bez zmiany logicznej kolejności znaków w pamięci. Atakujący wykorzystują niezamknięte znaki sterujące bidi do ukrywania aktywnych instrukcji warunkowych wewnątrz komentarzy lub literałów tekstowych (CVE-2021-42574).
  2. Spoofing Homoglifów (UTS #39): Znaki z różnych systemów pisma o identycznym wyglądzie (U+0430 cyrylickie а, U+03BF greckie ο, U+FF21 pełnoszerokie A) pozwalają napastnikom fałszować nazwy domen (ataki homograficzne IDN), przesłaniać zmienne w kodzie źródłowym (CVE-2021-42694) lub omijać filtry słów kluczowych.

Inspektor Znaków Unicode a Pokrewne Narzędzia Tekstowe i Kodowania

Szybka odpowiedź: Użyj Inspektora Znaków Unicode, aby przeanalizować ciąg znak po znaku pod kątem ukrytych kodów sterujących, homoglifów i sekwencji bajtów. Wybierz Tabelę ASCII do statycznego sprawdzania kodów od 0 do 255, Konwerter Unicode do masowej konwersji tekstu na punkty kodowe lub Narzędzie do Escapowania Unicode dla literałów w kodzie źródłowym.

Wybierz odpowiednie narzędzie z grupy analizy znaków i kodowania w zależności od tego, czy diagnozujesz nieznany ciąg tekstowy, sprawdzasz standardową tablicę bajtów, czy przekształcasz literały ciągów dla kodu źródłowego:

Funkcjonalność Inspektor Znaków Unicode Tabela ASCII Konwerter Unicode Narzędzie do Escapowania Unicode
Główny przepływ pracy Diagnostyczny audyt znak po znaku dla wklejonego tekstu lub plików Interaktywna tablica referencyjna dla kodów bajtowych 0–255 Masowa konwersja między tekstem, punktami kodowymi i tablicami bajtów Escapowanie i odkodowywanie literałów tekstowych w kodzie źródłowym
Ostrzeżenia o ukrytych znakach i Bidi Podświetla <ZWSP>, <BOM>, <NBSP> oraz kody bidi Trojan Source Wyświetla kody sterujące C0 (0–31, 127) oraz C1 (128–159) Koduje znaki sterujące numerycznie bez oznaczeń bezpieczeństwa Konwertuje znaki spoza ASCII na widoczne sekwencje \uXXXX
Wykrywanie homoglifów Oznacza mylące znaki UTS #39 z różnych alfabetów i typografię Obejmuje wyłącznie 7-bitowy US-ASCII oraz ISO-8859-1 Latin-1 Brak analizy mylących znaków między alfabetami Brak analizy mylących znaków między alfabetami
Różnice Grafemy vs UTF-16 Pokazuje grafemy UAX #29, punkty skalarne, jednostki UTF-16 i bajty UTF-8 Stałe 1-bajtowe (8-bitowe) wiersze tabeli Generuje pełne strumienie UTF-8, UTF-16 oraz UTF-32 Zachowuje lub łączy surogaty UTF-16 (\uD83D\uDE80 vs \u{1F680})
Składnia escapowania języków Wyświetla surowe punkty szesnastkowe (U+XXXX) i wartości bajtów Pokazuje sekwencje C/JS, notację karetki (^M) i encje HTML Formatuje listy szesnastkowych i dziesiętnych punktów kodowych Dedykowane tryby dla JS, JSON, Python, CSS, Rust oraz HTML
  • Przełącz się na Tabelę ASCII, gdy potrzebujesz szybkiej tablicy referencyjnej dla 7-bitowego US-ASCII (0–127) oraz rozszerzonego Latin-1 (128–255), masek bitowych, kodów ósemkowych i terminalowej notacji karetki.
  • Wykorzystaj Konwerter Unicode, kiedy chcesz masowo przekonwertować cały blok tekstu na ciągłe listy U+XXXX lub strumienie szesnastkowe UTF-8/UTF-16/UTF-32.
  • Sięgnij po Narzędzie do Escapowania Unicode podczas przygotowywania lub dekodowania sekwencji \uXXXX, \u{XXXXX}, \xXX albo CSS \XXXXXX dla ładunków JSON i plików źródłowych, lub otwórz Licznik znaków, aby sprawdzić długość tekstu względem limitów meta tagów SEO oraz segmentów SMS GSM-7/UCS-2.
FAQ

Inspektor Znaków Unicode – FAQ i przewodnik techniczny

Wszystko, co musisz wiedzieć o darmowym narzędziu online inspektor znaków unicode od Utiliome.

Dlaczego właściwość String.length w JavaScript zwraca 2 lub więcej dla pojedynczego widocznego znaku?

JavaScript, Java oraz C# mierzą długość ciągu w 16-bitowych jednostkach kodowych UTF-16, a nie w wartościach skalarnych Unicode czy rozszerzonych klastrach grafemów UAX #29. Każdy znak spoza Podstawowej Płaszczyzny Wielojezycznej (powyżej U+FFFF, np. rakieta U+1F680) wymaga pary surogatów (wysokiego i niskiego), co daje wartość .length równą 2. Złożone sekwencje emoji łączone za pomocą U+200D Zero Width Joiner (<ZWJ>) oraz selektora wariacji U+FE0F łączą wiele wartości skalarnych w jeden widoczny glif, często generując wartości .length od 5 do 11.

Które niewidoczne znaki Unicode najczęściej psują pliki JSON, YAML i kod źródłowy?

Cztery najczęstsze przyczyny to: U+00A0 twarda spacja (<NBSP>, często wpisywana przypadkowo skrótem Option+Spacja w systemie macOS, co psuje wcięcia YAML oraz parsery SQL), U+FEFF znacznik kolejności bajtów (<BOM>, osadzony w środku strumienia podczas łączenia plików zapisanych przez edytory Windows), U+200B spacja o zerowej szerokości (<ZWSP>, kopiowana z dokumentów rich-text, plików PDF lub komunikatorów do tokenów API) oraz typograficzne cudzysłowy drukarskie (U+201C i U+201D) zastępujące proste cudzysłowy ASCII (U+0022).

Jak wykryć ataki nadpisania dwukierunkowego Trojan Source we fragmentach kodu?

Atak Trojan Source (CVE-2021-42574) wykorzystuje dziewięć dwukierunkowych znaków sterujących Unicode z kategorii ogólnej Cf — U+202A (<LRE>), U+202B (<RLE>), U+202C (<PDF>), U+202D (<LRO>), U+202E (<RLO>), U+2066 (<LRI>), U+2067 (<RLI>), U+2068 (<FSI>) oraz U+2069 (<PDI>) — do wizualnej zmiany kolejności tokenów źródłowych, przez co wykonywalne instrukcje wyglądają podczas przeglądu kodu przez człowieka jak zakomentowane. Wklejenie podejrzanego kodu do inspektora natychmiast ujawnia każdy ukryty punkt kodowy bidi wraz z jego dokładnym indeksem.

Dlaczego dwa wizualnie identyczne ciągi ze znakami diakrytycznymi nie przechodzą ścisłego porównania równości?

Standard Unicode dopuszcza wiele kanonicznie równoważnych reprezentacji zgodnie z UAX #15. Na przykład litera 'é' w Formie Normalizacji C (NFC) to pojedyncza prekomponowana wartość skalarna U+00E9 (bajty UTF-8: C3 A9), natomiast w Formie Normalizacji D (NFD) składa się z dwóch wartości skalarnych: U+0065 ('e') oraz łączącego akcentu ostrego U+0301 (bajty UTF-8: 65 CC 81). Zbadanie obu ciągów w inspektorze ujawnia różniące się sekwencje punktów kodowych, dzięki czemu możesz zastosować metodę .normalize('NFC') przed haszowaniem lub porównaniem.

Czy wklejony tekst lub przesłane pliki są wysyłane na jakikolwiek serwer?

Nie. Segmentacja znaków, ekstrakcja punktów kodowych, obliczanie bajtów UTF-8 oraz UTF-16LE/BE, a także weryfikacja mylących homoglifów odbywają się w całości w Twojej przeglądarce przy użyciu natywnych interfejsów API języka JavaScript po stronie klienta. Klucze API, logi produkcyjne i prywatne fragmenty kodu źródłowego pozostają wyłącznie w pamięci lokalnej urządzenia.