Markdown کے لیے روایتی ورڈ کاؤنٹرز کا مسئلہ
Markdown میں لکھتے وقت دستاویز ساختی نحو سے بھری ہوتی ہے جو شائع شدہ نثر کا حصہ نہیں۔ روایتی ورڈ کاؤنٹنگ ٹولز متن کو whitespace یا رموز سے اندھا تقسیم کرتے ہیں بغیر مارک اپ زبانیں سمجھے۔ نتیجتاً عنوانات کے #، بولڈ کے **، بلاک کوٹس کے >، کوڈ سنپٹس کے بیک ٹکس (`) اور لنکس کے اندر URL سٹرنگز ([anchor text](https://example.com)) اصل الفاظ کے طور پر گنے جاتے ہیں یا حرف شمار بڑھا دیتے ہیں۔
تکنیکی مصنفین، بلاگرز، دستاویز مصنفین اور صحافیوں کے لیے یہ بگاڑ عین پبلشر ورڈ کاؤنٹ یا آرٹیکل لمبائی حدوں کا نشانہ بناتے وقت سنگین مسائل پیدا کرتا ہے۔ 2,000 الفاظ کی تکنیکی Markdown ٹیوٹوریل عام آن لائن کاؤنٹر پر 2,400 الفاظ رپورٹ ہو سکتی ہے صرف ان لائن کوڈ سنپٹس، نحو مارکرز اور لمبے لنک URLs کی وجہ سے۔
Utiliome درست Markdown میٹرکس کیسے نکالتا ہے
Utiliome متن تجزیہ سے پہلے کثیر مرحلہ AST (Abstract Syntax Tree) اور regex صفائی چلا کر یہ حل کرتا ہے:
- لنک اور امیج فلٹرنگ: لنک اینکر متن (
[anchor text]) الفاظ شمار کے لیے محفوظ رہتا ہے، جبکہ منزل URLs ((https://...)) اور امیج مارک اپ () ہٹائے جاتے ہیں تاکہ ویب ایڈریسز شمار نہ بڑھائیں۔ - فارمیٹنگ ٹوکن ہٹانا: عنوان ہیش مارکس (
#،##)، زور اسٹریسکس اور انڈر اسکورز (*،_،**،__)، اسٹرائیک تھرو ٹلڈز (~~) اور بلاک کوٹ پری فکسز (>) سٹرنگ ٹوکنائزیشن سے پہلے ہٹائے جاتے ہیں۔ - کوڈ بلاک ہینڈلنگ: فینسڈ کوڈ بلاکس (
js ...) اور ان لائن کوڈ عناصر الگ درجہ بند ہوتے ہیں، تاکہ جسم نثر درست ناپیں بغیر کوڈ نحو کے پڑھنے کے میٹرکس بگاڑے۔ - جملہ اور پیراگراف ٹوکنائزیشن: متن زبان آگاہ جملہ حد regex پیٹرنز سے تجزیہ ہوتا ہے، مخففات، اعشاریے اور بلٹ فہرست حدود درست سنبھالتا ہے۔
خام انسان پڑھنے کے قابل کاپی کو Markdown مارک اپ سے الگ کر کے Utiliome جدید مواد تخلیق ورک فلو کے لیے عین، قابلِ اعتماد ڈیٹا دیتا ہے۔
کوڈ بلاکس کو ورڈ کاؤنٹ سے خارج کرنے کے لیے دیکھیں counting Markdown words without code blocks۔