فاحص رموز يونيكود

افحص نصوص يونيكود رمزاً تلو الآخر في متصفحك.

بدون رفع ملفاتبدون تسجيلنتائج فورية
Unicode وUTF-8/16عرض صفري وأحرف متشابهةمعالجة محلية 100% • بدون رفع
فحص الأحرف
المحرك المحلي جاهز دون اتصالمساحة عمل خاصة 100% داخل المتصفح • بدون رفع للسحابة
خصوصية 100% • بدون رفع ملفات للخادم

لماذا تستخدم أداة فاحص رموز يونيكود المجانية من Utiliome؟

تم بناؤها لضمان الخصوصية التامة والتنفيذ الفوري دون تعقيد. لا اشتراكات ولا قيود أو تسجيل حساب.

كشف الرموز المخفية ورموز التحكم ثنائية الاتجاه (Bidi)

يكشف رموز التحكم والتنسيق غير المرئية مثل U+200B ZWSP و U+FEFF BOM و U+00A0 NBSP والواصلة الناعمة U+00AD، بالإضافة إلى رموز التجاوز ثنائية الاتجاه المستخدمة في هجمات Trojan Source (من U+202A إلى U+202E ومن U+2066 إلى U+2069).

تحليل تفصيلي لبايتات UTF-8 و UTF-16LE/BE

يعرض تسلسلات بايتات UTF-8 الست عشرية الدقيقة (من 1 إلى 4 بايتات وفق معيار RFC 3629) جنباً إلى جنب مع وحدات ترميز UTF-16LE و UTF-16BE، مما يكشف الأزواج البديلة (Surrogate Pairs) للمستويات التكميلية فوق U+FFFF.

مقارنة العناقيد الرسومية (UAX #29) بوحدات الترميز

يقارن العناقيد الرسومية الممتدة (Extended Grapheme Clusters) بعدد القيم القياسية ليونيكود ووحدات ترميز UTF-16 في JavaScript وطول بايتات UTF-8 لتشخيص أخطاء اقتطاع النصوص وتجاوز سعة أعمدة قواعد البيانات.

تشخيص الأحرف المتشابهة (Homoglyphs) وخصوصية تامة

يرصد الأحرف المتشابهة المربكة وفق معيار UTS #39 مثل التطابق البصري بين الأحرف السيريلية واللاتينية وعلامات الترقيم الذكية، وذلك بالكامل داخل ذاكرة المتصفح دون رفع أي بيانات، مما يحافظ على سرية المفاتيح والسجلات والأكواد.

Utiliome مقابل البدائل السحابية التقليدية

قارن محركنا المحلي القائم على WebAssembly مقابل الأدوات السحابية القديمة.

الميزة Utiliome (متصفح محلي) محولات السحابة القديمة
كشف الرموز المخفية ورموز التحكم ثنائية الاتجاه (Bidi) يكشف رموز التحكم والتنسيق غير المرئية مثل U+200B ZWSP و U+FEFF BOM و U+00A0 NBSP والواصلة الناعمة U+00AD، بالإضافة إلى رموز التجاوز ثنائية الاتجاه المستخدمة في هجمات Trojan Source (من U+202A إلى U+202E ومن U+2066 إلى U+2069). خيارات محدودة بدون تخصيص متقدم
تحليل تفصيلي لبايتات UTF-8 و UTF-16LE/BE يعرض تسلسلات بايتات UTF-8 الست عشرية الدقيقة (من 1 إلى 4 بايتات وفق معيار RFC 3629) جنباً إلى جنب مع وحدات ترميز UTF-16LE و UTF-16BE، مما يكشف الأزواج البديلة (Surrogate Pairs) للمستويات التكميلية فوق U+FFFF. يتطلب أدوات خارجية أو معالجة يدوية
الخصوصية ومعالجة البيانات معالجة محلية 100% داخل المتصفح (بدون رفع للخادم) يرفع البيانات إلى خوادم سحابية خارجية
التكلفة ومتطلبات الحساب مجاني 100% للأبد بدون تسجيل أو علامات مائية يتطلب تسجيل حساب أو اشتراكاً مدفوعاً
كيف يعمل

كيفية استخدام فاحص رموز يونيكود في 3 خطوات بسيطة

لا داعي لتثبيت أي برامج. يعمل كل شيء مباشرة داخل متصفح الإنترنت الخاص بك.

1

الصق النص أو أسقط ملفاً

الصق سلسلة نصية أو مُعرّفاً أو سجل أحداث (Log)، أو ارفع ملفاً بترميز UTF-8 يُشتبه في احتوائه على رموز عديمة العرض أو تسلسلات إيموجي معطوبة أو أطوال بايتات غير متوقعة.

2

افحص البيانات الوصفية لكل رمز

راجع نقطة الترميز القياسية (U+XXXX) لكل حرف، واسمه الرسمي في يونيكود، وفئته العامة (General Category)، وكتلته البرمجية، وبايتات UTF-8 و UTF-16LE/BE بالنظام الست عشري، وشارات التحذير الأمنية.

3

اعزل الرموز الشاذة أو انسخ النص النظيف

قم بتصفية النتائج مباشرة للوصول إلى رموز التنسيق المخفية أو الأحرف المتشابهة المربكة، أو أزل نقاط الترميز غير المرئية غير المرغوب فيها، أو انسخ جدول الفحص على مستوى البايت لإرفاقه في تقارير الأخطاء.

فحص الرموز المخفية والأزواج البديلة والأحرف المتشابهة (Homoglyphs)

إجابة سريعة: الصق أي نص لتفكيكه إلى قيم يونيكود القياسية الفردية، مما يكشف الرموز المخفية مثل المسافة عديمة العرض U+200B أو علامة ترتيب البايتات U+FEFF BOM، وتسلسلات الإيموجي المركبة عبر ZWJ، والأحرف غير القياسية المشابهة لـ ASCII جنباً إلى جنب مع تسلسلات بايتات UTF-8 و UTF-16 الدقيقة.

غالباً ما تنجم أعطال المحللات اللغوية (Parsers)، وعدم تطابق توقيعات Webhook، وفشل استعلامات SQL عن رموز تظهر بشكل متطابق بصرياً—أو تكون غير مرئية تماماً—في محاكيات الطرفية ومحرارات الأكواد. لنفترض متغير بيئة تم نسخه من بوابة توثيق أو رسالة محادثة يبدو مطابقاً بصرياً للنص api_key=prod:

Visual rendering:  api_key=prod
String.length:     14 (expected 12)
UTF-8 byte length: 19 bytes (expected 12 bytes)

عند تمرير هذه السلسلة المكونة من 14 وحدة عبر فاحص رموز يونيكود، تنكشف ثلاثة شذوذات مختلفة مخبأة داخل نص يبدو وكأنه ASCII بسيط: علامة ترتيب بايتات في البداية (<BOM>)، وحرف سيريلي متشابه بصرياً (Homoglyph) يحل محل الحرف اللاتيني a، ومسافة عديمة العرض مدمجة (<ZWSP>):

[
  {
    "index": 0,
    "badge": "<BOM>",
    "codePoint": "U+FEFF",
    "name": "ZERO WIDTH NO-BREAK SPACE",
    "category": "Cf (Format)",
    "block": "Arabic Presentation Forms-B",
    "utf8Hex": "EF BB BF",
    "utf16BE": "FE FF",
    "utf16LE": "FF FE",
    "warning": "Invisible zero-width format character"
  },
  {
    "index": 1,
    "glyph": "а",
    "codePoint": "U+0430",
    "name": "CYRILLIC SMALL LETTER A",
    "category": "Ll (Lowercase Letter)",
    "block": "Cyrillic",
    "utf8Hex": "D0 B0",
    "utf16BE": "04 30",
    "utf16LE": "30 04",
    "warning": "Confusable homoglyph for Latin U+0061 ('a')"
  },
  {
    "index": 2,
    "glyph": "p",
    "codePoint": "U+0070",
    "name": "LATIN SMALL LETTER P",
    "category": "Ll (Lowercase Letter)",
    "block": "Basic Latin",
    "utf8Hex": "70",
    "utf16BE": "00 70",
    "utf16LE": "70 00",
    "warning": null
  },
  {
    "index": 8,
    "badge": "<ZWSP>",
    "codePoint": "U+200B",
    "name": "ZERO WIDTH SPACE",
    "category": "Cf (Format)",
    "block": "General Punctuation",
    "utf8Hex": "E2 80 8B",
    "utf16BE": "20 0B",
    "utf16LE": "0B 20",
    "warning": "Invisible zero-width format character"
  }
]

يوضح الفاحص أيضاً سبب إرجاع رموز الإيموجي متعددة نقاط الترميز لأطوال مختلفة جذرياً عبر بيئات التشغيل المختلفة. عند فحص إيموجي التقني المرئي كرمز واحد 👨💻، يتبين أنه يتكون من ثلاث نقاط ترميز قياسية مرتبطة بواسطة رابط عديم العرض <ZWJ> (U+200D)، ويشغل 5 وحدات ترميز UTF-16 في JavaScript و 11 بايت في UTF-8:

Grapheme clusters (UAX #29): 1   -> [ "👨💻" ]
Unicode scalar code points:  3   -> U+1F468 (Man) + U+200D (<ZWJ>) + U+1F4BB (Laptop)
UTF-16 code units (.length): 5   -> D83D DC68 + 200D + D83D DCBB
UTF-8 encoded bytes:         11  -> F0 9F 91 A8 + E2 80 8D + F0 9F 92 BB

آليات ترميز يونيكود وحدود العناقيد الرسومية والمخاطر الأمنية

إجابة سريعة: يربط معيار يونيكود 1,112,064 قيمة قياسية صالحة موزعة على 17 مستوى بترميز UTF-8 متغير الطول (من 1 إلى 4 بايتات وفق RFC 3629) أو UTF-16 (2 أو 4 بايتات عبر الأزواج البديلة وفق RFC 2781). وتؤدي الفوارق بين العناقيد الرسومية وأشكال التطبيع القياسية ورموز التحكم ثنائية الاتجاه المخفية إلى أخطاء في المحللات وثغرات أمنية.

القيم القياسية وبتات بادئة UTF-8 (RFC 3629) والأزواج البديلة في UTF-16 (RFC 2781)

يمتد فضاء ترميز يونيكود من U+0000 حتى U+10FFFF عبر 17 مستوى (Planes)، يضم كل منها 65,536 نقطة ترميز. وباستثناء 2,048 موضعاً محجوزاً للأزواج البديلة (U+D800 إلى U+DFFF)، توجد بالضبط 1,112,064 قيمة قياسية صالحة في يونيكود:

  • ترميز UTF-8 يرمّز المستوى 0 الأساسي اللاتيني (U+0000 إلى U+007F) في بايت واحد (0xxxxxxx)، والنطاق من U+0080 إلى U+07FF في بايتين (110xxxxx 10xxxxxx)، وبقية رموز المستوى الأساسي متعدد اللغات BMP (U+0800 إلى U+FFFF) في 3 بايتات (1110xxxx 10xxxxxx 10xxxxxx)، والمستويات التكميلية الفوقية (U+10000 إلى U+10FFFF) في 4 بايتات (11110xxx 10xxxxxx 10xxxxxx 10xxxxxx). ولأن بايتات الاستمرار تبدأ دائماً بالبتين 10، فإن UTF-8 يتميز بالمزامنة الذاتية ولا يحتوي أبداً على بايتات صفرية (0x00) داخل الرموز غير الصفرية.
  • ترميز UTF-16 يمثل القيم القياسية في المستوى BMP مباشرة كوحدة ترميز واحدة بحجم 16 بت. أما الرموز من U+10000 إلى U+10FFFF فيُطرح منها 0x10000 لإنتاج إزاحة بحجم 20 بت (0x00000 إلى 0xFFFFF)، حيث تُقسّم البتات العشر العليا إلى بديل علوي/قائد (0xD800 إلى 0xDBFF) والبتات العشر السفلى إلى بديل سفلي/تابع (0xDC00 إلى 0xDFFF). يرتب UTF-16BE البايت الأكثر أهمية أولاً (D8 3D DC 80)، بينما يعكس UTF-16LE ترتيب البايتات داخل كل وحدة مكونة من 16 بت (3D D8 80 DC).

التكافؤ القانوني (UAX #15) وتجزئة العناقيد الرسومية (UAX #29)

كثيراً ما تمتلك النصوص المتطابقة بصرياً تمثيلات بايتات أساسية مختلفة. بموجب الملحق القياسي ليونيكود رقم 15 (UAX #15)، يمكن تخزين الحرف é في شكل التطبيع C (NFC) كرمز مركب مسبقاً U+00E9 (بايتات UTF-8 هي C3 A9) أو في شكل التطبيع D (NFD) كحرف أساسي U+0065 (e) متبوعاً بعلامة التشكيل المدمجة U+0301 (COMBINING ACUTE ACCENT، الفئة العامة Mn، وبايتات UTF-8 هي 65 CC 81). تقوم أنظمة ملفات macOS بتطبيع أسماء الملفات نحو صيغة NFD، بينما تعتمد أنظمة Linux و Windows ونماذج المتصفحات صيغة NFC افتراضياً—مما يتسبب في فشل مقارنات النصوص المباشرة على مستوى البايت، وعمليات البحث عن مفاتيح كائنات S3، وفحوصات HMAC ما لم يتم تطبيع النص أولاً.

وبالمثل، فإن اقتطاع النصوص حسب فهرس UTF-16 (str.slice(0, 10)) قد يفصل البديل العلوي عن البديل السفلي (مما ينتج بدائل مفردة غير مقترنة تتحول عند التسلسل إلى رموز استبدال U+FFFD في UTF-8)، أو يفصل الحرف الأساسي عن علامات التشكيل المدمجة أو محددات التنويع (U+FE0E و U+FE0F) أو مؤشرات الأعلام الإقليمية (U+1F1E6 إلى U+1F1FF). لذلك يجب تجزئة الأحرف التي يدركها المستخدم وفق حدود العناقيد الرسومية الممتدة في معيار UAX #29.

ثغرة Trojan Source (`CVE-2021-42574`) والأحرف المربكة في معيار UTS #39

تشكل فئتان من رموز يونيكود مخاطر حادة على أمن التطبيقات:

  1. رموز التجاوز ثنائية الاتجاه (Cf): تُصدر نقاط الترميز من U+202A حتى U+202E (<LRE>، <RLE>، <PDF>، <LRO>، <RLO>) ورموز العزل من U+2066 حتى U+2069 (<LRI>، <RLI>، <FSI>، <PDI>) تعليمات لمحركات عرض النصوص بعكس ترتيب العرض البصري دون تغيير الترتيب المنطقي في الذاكرة. يستغل المهاجمون رموز التحكم ثنائية الاتجاه غير المغلقة لإخفاء شروط برمجية نشطة داخل التعليقات أو النصوص الحرفية (CVE-2021-42574).
  2. انتحال الأحرف المتشابهة (UTS #39): تتيح الرموز المتشابهة عبر أنظمة الكتابة المختلفة (U+0430 السيريلي а، و U+03BF اليوناني ο، و U+FF21 كامل العرض A) للمهاجمين تزوير أسماء نطاقات خادعة (هجمات IDN homograph)، أو حجب المتغيرات في الكود المصدري (CVE-2021-42694)، أو تجاوز قوائم حظر الكلمات المفتاحية.

مقارنة فاحص رموز يونيكود بأدوات النصوص والترميز الشقيقة

إجابة سريعة: استخدم فاحص رموز يونيكود لتدقيق السلاسل النصية رمزاً تلو الآخر بحثاً عن رموز التحكم المخفية والأحرف المتشابهة وتسلسلات البايتات. واستخدم جدول رموز ASCII الشامل للبحث السريع عن الرموز الثابتة من 0 إلى 255، أو محول يونيكود للتحويل الجماعي بين النصوص ونقاط الترميز، أو أداة تهريب وفك ترميز يونيكود لتوليد تسلسلات الهروب الخاصة بلغات البرمجة.

اختر الأداة المناسبة من مجموعة أدوات الرموز والترميز بناءً على ما إذا كنت تقوم بتشخيص نص مجهول، أو تبحث في جدول بايتات قياسي، أو تحوّل النصوص الحرفية لاستخدامها في الكود المصدري:

القدرة فاحص رموز يونيكود جدول رموز ASCII الشامل محول يونيكود أداة تهريب وفك ترميز يونيكود
سير العمل الأساسي تدقيق تشخيصي لكل رمز على حدة في النصوص الملصقة أو الملفات جدول مرجعي تفاعلي لأكواد البايتات من 0 إلى 255 تحويل جماعي بين النصوص ونقاط الترميز ومصفوفات البايتات تهريب (Escaping) وفك تهريب النصوص الحرفية في الأكواد البرمجية
تحذيرات الرموز المخفية و Bidi يبرز <ZWSP> و <BOM> و <NBSP> وأكواد Bidi الخاصة بـ Trojan Source يعرض أكواد التحكم C0 (0–31، 127) و C1 (128–159) يرمّز أكواد التحكم رقمياً دون شارات تحذير أمنية يحول الرموز غير القياسية في ASCII إلى تسلسلات هروب مرئية \uXXXX
كشف الأحرف المتشابهة (Homoglyphs) يرصد المتشابهات عبر اللغات وفق UTS #39 وعلامات الترقيم الذكية يغطي US-ASCII (7-bit) و ISO-8859-1 Latin-1 فقط لا يوفر تحليلاً للأحرف المتشابهة المربكة لا يوفر تحليلاً للأحرف المتشابهة المربكة
الفرق بين العناقيد الرسومية و UTF-16 يعرض عناقيد UAX #29 والنقاط القياسية ووحدات UTF-16 وبايتات UTF-8 صفوف جدول ثابتة بحجم بايت واحد (8-bit) يخرج تدفقات كاملة بترميز UTF-8 و UTF-16 و UTF-32 يحافظ على الأزواج البديلة لـ UTF-16 أو يدمجها (\uD83D\uDE80 مقابل \u{1F680})
صيغ الهروب للغات البرمجة يعرض نقاط الترميز الست عشرية الخام (U+XXXX) وقيم البايتات يعرض تسلسلات هروب C/JS وتدوين الإقحام (^M) وكيانات HTML ينسق قوائم نقاط الترميز بالنظام الست عشري والعشري أوضاع تهريب مخصصة للغات JS و JSON و Python و CSS و Rust و HTML
  • انتقل إلى جدول رموز ASCII الشامل عندما تحتاج إلى جدول بحث سريع لأقنعة البتات الثنائية والأكواد الثمانية وتدوين الطرفية لمعيار US-ASCII (0–127) و Extended Latin-1 (128–255).
  • استخدم محول يونيكود عندما ترغب في تحويل كتلة نصية كاملة دفعة واحدة إلى قوائم U+XXXX متصلة أو تدفقات ست عشرية بترميز UTF-8/UTF-16/UTF-32.
  • استخدم أداة تهريب وفك ترميز يونيكود عند تحضير أو فك تشفير تسلسلات \uXXXX أو \u{XXXXX} أو \xXX أو \XXXXXX الخاصة بـ CSS لحمولات JSON وملفات الكود المصدري، أو افتح عداد الحروف عند مراجعة النصوص للتحقق من حدود وسوم SEO الوصفية وأقسام رسائل SMS بترميز GSM-7/UCS-2.
الأسئلة الشائعة

الأسئلة الشائعة والدليل الفني حول فاحص رموز يونيكود

كل ما تحتاج معرفته حول استخدام فحص رموز يونيكود وكشف الأحرف المخفية المجاني عبر الإنترنت من Utiliome.

لماذا تُرجع خاصية String.length في JavaScript القيمة 2 أو أكثر لرمز مرئي واحد؟

تقيس لغات JavaScript و Java و C# طول السلسلة النصية بوحدات ترميز UTF-16 ذات 16 بت بدلاً من قيم يونيكود القياسية أو العناقيد الرسومية الممتدة (UAX #29). أي رمز يقع خارج المستوى الأساسي متعدد اللغات (فوق U+FFFF، مثل إيموجي الصاروخ U+1F680) يتطلب زوجاً بديلاً علوياً وسفلياً، مما يمنحه طولاً (.length) يساوي 2. كما أن تسلسلات الإيموجي المركبة المرتبطة بواسطة رابط عديم العرض U+200D (<ZWJ>) ومحدد التنويع U+FE0F تجمع عدة قيم قياسية في شكل بصري واحد، مما ينتج غالباً قيم .length تتراوح بين 5 و 11.

ما هي رموز يونيكود المخفية الأكثر تسبباً في تعطيل ملفات JSON و YAML والأكواد البرمجية؟

الأسباب الأربعة الأكثر شيوعاً هي: مسافة عدم الفصل U+00A0 (<NBSP>، التي تُكتب غالباً عن طريق الخطأ عبر اختصار Option+Space في نظام macOS، مما يفسد المسافات البادئة في YAML ومحللات SQL)، وعلامة ترتيب البايتات U+FEFF (<BOM>، التي تُدمج في منتصف النص عند دمج ملفات محفوظة بواسطة محررات Windows)، والمسافة عديمة العرض U+200B (<ZWSP>، التي تُنسخ من مستندات النصوص الغنية أو ملفات PDF أو تطبيقات المحادثة إلى داخل رموز API)، وعلامات الاقتباس الذكية المطبعية (U+201C و U+201D) التي تحل محل علامات الاقتباس المستقيمة القياسية في ASCII (U+0022).

كيف يمكنني اكتشاف هجمات التجاوز ثنائي الاتجاه (Trojan Source) في مقاطع الأكواد؟

تستغل ثغرة Trojan Source (CVE-2021-42574) تسعة رموز تحكم ثنائية الاتجاه من الفئة العامة Cf في يونيكود—وهي U+202A (<LRE>)، و U+202B (<RLE>)، و U+202C (<PDF>)، و U+202D (<LRO>)، و U+202E (<RLO>)، و U+2066 (<LRI>)، و U+2067 (<RLI>)، و U+2068 (<FSI>)، و U+2069 (<PDI>)—لإعادة ترتيب الرموز البرمجية بصرياً بحيث تبدو الأوامر القابلة للتنفيذ وكأنها داخل تعليقات برمجية أثناء المراجعة البشرية. يؤدي لصق الكود المشبوه في الفاحص إلى كشف كل نقطة ترميز Bidi مخفية مع موقعها الدقيق في النص.

لماذا تفشل سلسلتان نصيتان متطابقتان بصرياً وتحتويان على علامات تشكيل في اختبارات التطابق الصارم؟

يسمح معيار يونيكود بوجود عدة تمثيلات متكافئة قانونياً بموجب الملحق UAX #15. على سبيل المثال، الحرف 'é' في شكل التطبيع C (NFC) هو قيمة قياسية واحدة مركبة مسبقاً U+00E9 (بايتات UTF-8 هي C3 A9)، بينما يتكون في شكل التطبيع D (NFD) من قيمتين قياسيتين: U+0065 ('e') متبوعاً بعلامة التشكيل الحادة المدمجة U+0301 (بايتات UTF-8 هي 65 CC 81). يكشف فحص كلتا السلسلتين عن اختلاف تسلسل نقاط الترميز، مما يتيح لك تطبيق الدالة .normalize('NFC') قبل إجراء التجزئة (Hashing) أو المقارنة.

هل يتم إرسال النصوص الملصقة أو الملفات المرفوعة إلى أي خادم؟

لا. تتم عمليات تجزئة الأحرف، واستخراج نقاط الترميز، وحساب بايتات UTF-8 و UTF-16LE/BE، وفحوصات الأحرف المتشابهة المربكة بالكامل داخل متصفحك باستخدام واجهات JavaScript البرمجية المحلية على جهاز العميل. تظل مفاتيح API وسجلات الإنتاج ومقاطع الأكواد الخاصة محفوظة حصرياً في الذاكرة المحلية لجهازك.