Unicode文字インスペクター

ブラウザ上でUnicode文字列を1文字ずつ詳細に解析。

アップロード不要登録不要リアルタイム変換
Unicode & UTF-8/16ゼロ幅文字&ホモグリフ100%ローカル処理・アップロードなし
文字を検査
オフラインエンジンの準備完了ブラウザ内100%プライベート空間 • クラウドへのデータ送信ゼロ
100%プライベート • サーバーファイル送信ゼロ

Utiliomeの無料Unicode文字インスペクターを選ぶ理由

厳格なプライバシー保護、即時実行、ストレスフリーを考慮して開発。サブスクリプションや会員登録は不要です。

不可視文字・双方向(Bidi)制御文字の検出

U+200B(ZWSP)、U+FEFF(BOM)、U+00A0(NBSP)、U+00AD(ソフトハイフン)などの非表示制御・フォーマット文字や、Trojan Source攻撃に使われる双方向オーバーライド(U+202A〜U+202E、U+2066〜U+2069)を洗い出します。

UTF-8およびUTF-16LE/BEバイト列の内訳表示

RFC 3629準拠の正確な16進数UTF-8バイト列(1〜4バイト)とUTF-16LE/UTF-16BEコード単位を並べて表示し、U+FFFFを超える補助平面のサロゲートペアも明確に可視化します。

UAX #29書記素クラスタとコード単位の比較

拡張書記素クラスタ数、Unicodeスカラ値の数、JavaScriptのUTF-16コード単位数、およびUTF-8バイト長を比較し、文字列スライスのバグやデータベースカラムの容量超過を診断します。

ホモグリフ診断と完全ローカル処理のプライバシー

キリル文字とラテン文字の類似字形やスマート引用符など、UTS #39で定義された紛らわしい文字(Confusables)をブラウザメモリ内で完結して検出するため、トークンやログ、コードが外部へ送信されることはありません。

Utiliomeと従来のクラウドサービスの比較

ローカルファーストのWebAssemblyエンジンと従来のクラウドツールを比較。

機能 Utiliome (ローカルブラウザ) 従来のクラウドコンバーター
不可視文字・双方向(Bidi)制御文字の検出 U+200B(ZWSP)、U+FEFF(BOM)、U+00A0(NBSP)、U+00AD(ソフトハイフン)などの非表示制御・フォーマット文字や、Trojan Source攻撃に使われる双方向オーバーライド(U+202A〜U+202E、U+2066〜U+2069)を洗い出します。 基本機能のみで高度なカスタマイズに非対応
UTF-8およびUTF-16LE/BEバイト列の内訳表示 RFC 3629準拠の正確な16進数UTF-8バイト列(1〜4バイト)とUTF-16LE/UTF-16BEコード単位を並べて表示し、U+FFFFを超える補助平面のサロゲートペアも明確に可視化します。 外部ツールや手作業での変換・調整が必要
データプライバシーと処理方式 100%ブラウザ内ローカル処理(サーバー送信ゼロ) データを外部クラウドサーバーへ送信・保存
利用料金・アカウント登録 完全無料・登録不要・透かしや回数制限なし アカウント登録や有料プランの契約が必要
使い方

Unicode文字インスペクターの使い方(簡単3ステップ)

ソフトウェアのインストールは不要です。すべてお使いのWebブラウザ内で直接動作します。

1

テキストの貼り付け、またはファイルのドロップ

ゼロ幅文字の混入、絵文字シーケンスの破損、または予期しないバイト長が疑われる文字列、識別子、ログエントリを貼り付けるか、UTF-8ファイルをアップロードします。

2

1文字ごとのメタデータを検査

各文字のU+XXXXスカラコードポイント、Unicode公式文字名、一般カテゴリ(General Category)、所属ブロック、UTF-8およびUTF-16LE/BEの16進バイト列、セキュリティ警告バッジを確認します。

3

異常文字の抽出またはクリーンな出力のコピー

不可視のフォーマット文字や紛らわしいホモグリフのみをフィルタリングして表示したり、不要な非表示コードポイントを除去したり、バグレポート用にバイト単位の検査テーブルをコピーできます。

不可視文字、サロゲートペア、およびホモグリフの検査

クイック回答: 任意の文字列を貼り付けるだけで個々のUnicodeスカラ値に分解し、U+200B(ゼロ幅スペース)やU+FEFF(BOM)などの不可視文字、複数コードポイントからなるZWJ絵文字シーケンス、非ASCIIの紛らわしい類似文字(ホモグリフ)を、正確なUTF-8およびUTF-16バイト列とともに可視化します。

パーサーのエラー、Webhookの署名不一致、SQLの検索失敗などは、ターミナルエミュレータやコードエディタ上でまったく同じ見た目で描画される文字、あるいは完全に透明で表示されない文字が原因で頻繁に発生します。ドキュメントポータルやチャットメッセージからコピーした環境変数が、見た目上は api_key=prod とまったく同じに見える次のケースを考えてみましょう。

Visual rendering:  api_key=prod
String.length:     14 (expected 12)
UTF-8 byte length: 19 bytes (expected 12 bytes)

この14コード単位の文字列をUnicode文字インスペクターにかけると、一見すると普通のASCIIテキストの中に隠れていた3つの異なる異常が明らかになります。先頭のバイトオーダーマーク(<BOM>)、ラテン文字の a に成り代わったキリル文字のホモグリフ、そして途中に埋め込まれたゼロ幅スペース(<ZWSP>)です。

[
  {
    "index": 0,
    "badge": "<BOM>",
    "codePoint": "U+FEFF",
    "name": "ZERO WIDTH NO-BREAK SPACE",
    "category": "Cf (Format)",
    "block": "Arabic Presentation Forms-B",
    "utf8Hex": "EF BB BF",
    "utf16BE": "FE FF",
    "utf16LE": "FF FE",
    "warning": "Invisible zero-width format character"
  },
  {
    "index": 1,
    "glyph": "а",
    "codePoint": "U+0430",
    "name": "CYRILLIC SMALL LETTER A",
    "category": "Ll (Lowercase Letter)",
    "block": "Cyrillic",
    "utf8Hex": "D0 B0",
    "utf16BE": "04 30",
    "utf16LE": "30 04",
    "warning": "Confusable homoglyph for Latin U+0061 ('a')"
  },
  {
    "index": 2,
    "glyph": "p",
    "codePoint": "U+0070",
    "name": "LATIN SMALL LETTER P",
    "category": "Ll (Lowercase Letter)",
    "block": "Basic Latin",
    "utf8Hex": "70",
    "utf16BE": "00 70",
    "utf16LE": "70 00",
    "warning": null
  },
  {
    "index": 8,
    "badge": "<ZWSP>",
    "codePoint": "U+200B",
    "name": "ZERO WIDTH SPACE",
    "category": "Cf (Format)",
    "block": "General Punctuation",
    "utf8Hex": "E2 80 8B",
    "utf16BE": "20 0B",
    "utf16LE": "0B 20",
    "warning": "Invisible zero-width format character"
  }
]

また、複数のコードポイントで構成される絵文字がランタイムによってまったく異なる文字長を返す理由も明確に把握できます。画面上では1文字に見えるテクノロジストの絵文字 👨💻 を検査すると、<ZWJ>(U+200D)で結合された3つのスカラコードポイントで構成されており、JavaScriptでは5つのUTF-16コード単位、UTF-8では11バイトを占有していることがわかります。

Grapheme clusters (UAX #29): 1   -> [ "👨💻" ]
Unicode scalar code points:  3   -> U+1F468 (Man) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
UTF-16 code units (.length): 5   -> D83D DC68 + 200D + D83D DCBB
UTF-8 encoded bytes:         11  -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB

Unicodeエンコーディングの仕組み、書記素境界、およびセキュリティリスク

クイック回答: Unicodeは17の平面にわたる1,112,064個の有効なスカラ値を、可変長のUTF-8(RFC 3629に基づく1〜4バイト)またはUTF-16(RFC 2781に基づくサロゲートペアを用いた2または4バイト)にマッピングします。書記素クラスタ、正規化形式、および不可視の双方向(Bidi)制御文字の間の不整合は、パーサーのバグやセキュリティ脆弱性を引き起こします。

スカラ値、UTF-8プレフィックスビット(RFC 3629)、およびUTF-16サロゲート(RFC 2781)

Unicodeのコード空間は、各65,536コードポイントを持つ17の平面にわたり、U+0000 から U+10FFFF まで広がっています。予約済みのサロゲート領域2,048個(U+D800 〜 U+DFFF)を除くと、正確に1,112,064個のUnicodeスカラ値が存在します。

  • UTF-8 は、第0面(BMP)の基本ラテン文字(U+0000 〜 U+007F)を1バイト(0xxxxxxx)、U+0080 〜 U+07FF を2バイト(110xxxxx 10xxxxxx)、残りの基本多言語面(BMP)の文字(U+0800 〜 U+FFFF)を3バイト(1110xxxx 10xxxxxx 10xxxxxx)、そして補助平面(U+10000 〜 U+10FFFF)を4バイト(11110xxx 10xxxxxx 10xxxxxx 10xxxxxx)でエンコードします。後続バイトは常に 10 で始まるため、UTF-8は自己同期性を備えており、NULL以外の文字の内部にNULLバイト(0x00)が含まれることはありません。
  • UTF-16 は、BMPのスカラ値をそのまま1つの16ビットコード単位として表現します。U+10000 から U+10FFFF までの文字は、0x10000 を減算して20ビットのオフセット(0x00000 〜 0xFFFFF)を求め、上位10ビットを上位(ハイ)サロゲート(0xD800 〜 0xDBFF)、下位10ビットを下位(ロー)サロゲート(0xDC00 〜 0xDFFF)に分割します。UTF-16BEは最上位バイトから順に(D8 3D DC 80)シリアライズしますが、UTF-16LEは各16ビット単位内でバイト順序を反転させます(3D D8 80 DC)。

正規等価性(UAX #15)と書記素分割(UAX #29)

視覚的にまったく同じテキストでも、内部のバイト表現が異なるケースは頻繁にあります。Unicode標準附属書 #15(UAX #15)において、é は 正規化形式C(NFC) では合成済み文字 U+00E9(UTF-8で C3 A9)として格納されますが、正規化形式D(NFD) では基底文字 U+0065(e)と結合文字 U+0301(COMBINING ACUTE ACCENT、一般カテゴリ Mn、UTF-8で 65 CC 81)の組み合わせとして格納されます。macOSのファイルシステムはファイル名をNFDに近い形式へ正規化する一方、Linux、Windows、およびブラウザのフォーム送信はデフォルトでNFCを使用するため、事前に正規化を行わないと、単純なバイト単位の文字列比較、S3オブジェクトキーの検索、HMAC検証などが失敗する原因となります。

同様に、UTF-16のインデックスで文字列をスライス(str.slice(0, 10))すると、上位サロゲートと下位サロゲートが分断されて孤立サロゲート(UTF-8へのシリアライズ時に置換文字 U+FFFD に化ける)が生じたり、基底文字から結合ダイアクリティカルマーク、異体字セレクタ(U+FE0E、U+FE0F)、国旗の地域指標記号(U+1F1E6 〜 U+1F1FF)が切り離されたりすることがあります。ユーザーが認識する「1文字」単位で処理するには、UAX #29 拡張書記素クラスタ の境界に沿って分割する必要があります。

Trojan Source(`CVE-2021-42574`)とUTS #39の紛らわしい文字(Confusables)

Unicodeにおける次の2種類の文字クラスは、アプリケーションセキュリティ上の重大なリスクをもたらします。

  1. 双方向(Bidi)オーバーライド(Cf): コードポイント U+202A 〜 U+202E(<LRE>、<RLE>、<PDF>、<LRO>、<RLO>)および分離制御文字 U+2066 〜 U+2069(<LRI>、<RLI>、<FSI>、<PDI>)は、メモリ上の論理的な文字順序を変更せずに、画面上の表示順序だけを反転させるようテキストレンダラーに指示します。攻撃者は閉じられていないBidi制御文字を悪用し、実際に実行される条件分岐をコメントや文字列リテラルの内部にあるかのように偽装します(CVE-2021-42574)。
  2. ホモグリフによるなりすまし(UTS #39): 異なる文字体系間の類似字形(キリル文字の U+0430 а、ギリシャ文字の U+03BF ο、全角ラテン文字の U+FF21 A など)を悪用すると、紛らわしいドメイン名の偽造(IDNホモグラフ攻撃)、ソースコード内の変数のシャドーイング(CVE-2021-42694)、またはキーワードブロックリストの回避が可能になります。

Unicode文字インスペクターと関連テキスト・文字コードツールの使い分け

クイック回答: 文字列を1文字ずつ検査して不可視の制御コード、ホモグリフ、バイト列を特定するには「Unicode文字インスペクター」を使用します。0〜255の静的な文字コード参照には「ASCIIテーブル・文字コード表」、テキストとコードポイントの一括変換には「Unicode変換ツール」、言語別のエスケープリテラル生成には「Unicode エスケープ変換ツール」を使用してください。

原因不明の文字列の診断、標準バイト表の参照、またはソースコード用の文字列リテラル変換など、目的に応じて文字・エンコーディング系ツールを使い分けてください。

機能・特徴 Unicode文字インスペクター ASCIIテーブル・文字コード表 Unicode変換ツール Unicode エスケープ変換ツール
主な用途 貼り付けた文字列やファイルの1文字ごとの診断・監査 バイトコード 0〜255 のインタラクティブな参照表 テキスト、コードポイント、バイト配列間の一括変換 ソースコード用文字列リテラルのエスケープ・アンエスケープ
不可視文字・Bidi警告 <ZWSP>、<BOM>、<NBSP>、Trojan SourceのBidiコードを強調表示 C0(0〜31、127)およびC1(128〜159)制御コードを一覧表示 セキュリティバッジなしで制御コードを数値へエンコード 非ASCII文字を可視の \uXXXX エスケープへ変換
ホモグリフ検出 UTS #39に基づく異文字体系の類似字形やスマート句読点を検出 7ビットUS-ASCIIおよびISO-8859-1(Latin-1)のみ対応 紛らわしい文字体系の解析なし 紛らわしい文字体系の解析なし
書記素とUTF-16の比較 UAX #29書記素、スカラ値、UTF-16単位、UTF-8バイト数を表示 固定1バイト(8-bit)のテーブル行 UTF-8、UTF-16、UTF-32のストリーム全体を出力 UTF-16サロゲートの維持またはペア化(\uD83D\uDE80 と \u{1F680})
言語別エスケープ構文 生の16進コードポイント(U+XXXX)とバイト値を表示 C/JSエスケープ、キャレット記法(^M)、HTMLエンティティを表示 16進数・10進数のコードポイントリストに整形 JS、JSON、Python、CSS、Rust、HTML専用エスケープモード
  • 7ビットUS-ASCII(0〜127)および拡張Latin-1(128〜255)の2進数ビットマスク、8進数コード、ターミナルのキャレット記法を素早く調べたい場合は ASCIIテーブル・文字コード表 に切り替えてください。
  • テキストブロック全体を連続した U+XXXX リストやUTF-8/UTF-16/UTF-32の16進数ストリームへ一括変換したい場合は Unicode変換ツール を使用してください。
  • JSONペイロードやソースファイル向けに \uXXXX、\u{XXXXX}、\xXX、またはCSSの \XXXXXX シーケンスを生成・デコードしたい場合は Unicode エスケープ変換ツール を使用し、SEOメタタグやSMS(GSM-7/UCS-2)のセグメント上限に対してテキスト長を確認したい場合は 文字数カウントツール を開いてください。
よくある質問

Unicode文字インスペクターのFAQと技術ガイド

Utiliomeの無料オンラインunicode 不可視文字 確認に関するすべての情報。

画面上では1文字に見えるのに、JavaScriptのString.lengthが2以上を返すのはなぜですか?

JavaScript、Java、およびC#は、Unicodeスカラ値やUAX #29拡張書記素クラスタではなく、16ビットのUTF-16コード単位で文字列の長さを計測するためです。基本多言語面(BMP)外の文字(U+FFFFより上、例えばU+1F680のロケットの絵文字など)は上位と下位のサロゲートペアを必要とするため、.lengthは2になります。さらに、U+200Dのゼロ幅接合子(<ZWJ>)やU+FE0Fの異体字セレクタ16で結合された複合絵文字シーケンスは、複数のスカラ値を1つの視覚的な字形にまとめるため、.lengthが5〜11になることも珍しくありません。

JSON、YAML、およびソースコードを最も頻繁に壊す不可視のUnicode文字は何ですか?

最も一般的な4つの原因は、U+00A0 ノーブレークスペース(<NBSP>、macOSでOption+Spaceを誤入力して混入することが多く、YAMLのインデントやSQLパーサーを破壊する)、U+FEFF バイトオーダーマーク(<BOM>、Windowsのエディタで保存されたファイルを連結した際にストリームの途中に埋め込まれる)、U+200B ゼロ幅スペース(<ZWSP>、リッチテキスト文書、PDF、チャットアプリからAPIトークンへコピーされる)、およびASCIIの直線引用符(U+0022)を置き換えてしまうタイポグラフィのスマート引用符(U+201CおよびU+201D)です。

コードスニペット内のTrojan Source(双方向オーバーライド攻撃)はどのように検出できますか?

Trojan Source(CVE-2021-42574)は、Unicodeの一般カテゴリCfに属する9つの双方向(Bidi)制御文字—U+202A(<LRE>)、U+202B(<RLE>)、U+202C(<PDF>)、U+202D(<LRO>)、U+202E(<RLO>)、U+2066(<LRI>)、U+2067(<RLI>)、U+2068(<FSI>)、およびU+2069(<PDI>)—を悪用してソースコードのトークンの表示順序を視覚的に入れ替え、人間によるコードレビュー時に実行可能なステートメントがコメントアウトされているように見せかけます。疑わしいコードをこのインスペクターに貼り付けると、隠されたすべてのBidiコードポイントがその正確な文字インデックスとともに明らかになります。

見た目がまったく同じアクセント付き文字列同士が、厳密等価比較(===)で不一致になるのはなぜですか?

Unicodeでは、UAX #15に基づき、正規等価な複数の表現が許容されているためです。例えば、正規化形式C(NFC)における「é」は合成済みの単一スカラ値 U+00E9(UTF-8バイト列は C3 A9)ですが、正規化形式D(NFD)では U+0065(「e」)に結合アキュートアクセント U+0301 が続く2つのスカラ値(UTF-8バイト列は 65 CC 81)で構成されます。両方の文字列をインスペクターで検査するとコードポイント列の違いが可視化されるため、ハッシュ化や比較の前に .normalize('NFC') を適用すべきであることが確認できます。

貼り付けたテキストやアップロードしたファイルが外部サーバーに送信されることはありますか?

いいえ。文字の分割、コードポイントの抽出、UTF-8およびUTF-16LE/BEバイト列の計算、紛らわしいホモグリフのチェックはすべて、クライアントサイドのネイティブJavaScript APIを使用してブラウザ内で完結します。APIキー、本番環境のログ、非公開のソースコードスニペットはローカルメモリ内に厳密に保持されます。