মার্কডাউনের জন্য প্রচলিত ওয়ার্ড কাউন্টারের সমস্যা
মার্কডাউনে লিখলে নথি কাঠামোগত সিনট্যাক্সে ভরা যা প্রকাশিত গদ্যের অংশ নয়। প্রচলিত ওয়ার্ড কাউন্টিং টুল মার্কআপ ভাষা না বুঝে হোয়াইটস্পেস বা যতিচিহ্ন দিয়ে অন্ধভাবে ভাগ করে। ফলে শিরোনামের #, বোল্ডের **, ব্লককোটের >, কোড স্নিপেটের ব্যাকটিক (`) এবং লিংকের ভিতরের URL স্ট্রিং ([anchor text](https://example.com)) প্রকৃত শব্দ হিসেবে গণনা হয় বা অক্ষর গণনা ফুলিয়ে তোলে।
টেকনিক্যাল রাইটার, ব্লগার, ডকুমেন্টেশন লেখক ও সাংবাদিকদের জন্য প্রকাশকের নির্দিষ্ট শব্দ গণনা বা আর্টিকেল দৈর্ঘ্য সীমা লক্ষ্য করলে এই বিকৃতি বড় সমস্যা। ২,০০০ শব্দের টেকনিক্যাল মার্কডাউন টিউটোরিয়াল জেনেরিক অনলাইন কাউন্টারে ইনলাইন কোড, সিনট্যাক্স মার্কার ও লম্বা লিংক URL-এর কারণে ২,৪০০ শব্দ দেখাতে পারে।
Utiliome কীভাবে সঠিক মার্কডাউন মেট্রিক হিসাব করে
Utiliome টেক্সট অ্যানালিটিক্সের আগে মাল্টি-স্টেজ AST (Abstract Syntax Tree) ও regex পরিষ্কার প্রক্রিয়া চালিয়ে এটি সমাধান করে:
- লিংক ও ইমেজ ফিল্টারিং: লিংক অ্যাঙ্কর টেক্সট (
[anchor text]) শব্দ গণনায় রাখা হয়, গন্তব্য URL ((https://...)) ও ইমেজ মার্কআপ () সরানো হয় যাতে ওয়েব ঠিকানা গণনা না ফুলায়। - ফরম্যাটিং টোকেন অপসারণ: শিরোনাম হ্যাশ (
#,##), এমফেসিস অ্যাস্টেরিস্ক ও আন্ডারস্কোর (*,_,**,__), স্ট্রাইকথ্রু টিল্ড (~~) এবং ব্লককোট প্রিফিক্স (>) স্ট্রিং টোকেনাইজেশনের আগে সরানো হয়। - কোড ব্লক হ্যান্ডলিং: ফেন্সড কোড ব্লক (
js ...) ও ইনলাইন কোড আলাদা শ্রেণিভুক্ত হয়, যাতে কোড সিনট্যাক্স পড়ার মেট্রিক না বাঁকিয়ে বডি গদ্য সঠিক মাপা যায়। - বাক্য ও অনুচ্ছেদ টোকেনাইজেশন: ভাষা-সচেতন বাক্য সীমানা regex দিয়ে টেক্সট বিশ্লেষণ হয়, সংক্ষিপ্ত রূপ, দশমিক ও বুলেটেড তালিকা সীমা সঠিকভাবে সামলায়।
কাঁচা মানুষ-পাঠযোগ্য কপি মার্কডাউন মার্কআপ থেকে আলাদা করে Utiliome আধুনিক কন্টেন্ট তৈরির ওয়ার্কফ্লোর জন্য সঠিক, নির্ভরযোগ্য ডেটা দেয়।
শব্দ গণনা থেকে কোড ব্লক বাদ দিতে দেখুন counting Markdown words without code blocks।