ปัญหาของเครื่องมือนับคำแบบดั้งเดิมกับ Markdown
เมื่อเขียนด้วย Markdown เอกสารของคุณจะเต็มไปด้วยไวยากรณ์โครงสร้างที่ไม่ใช่ส่วนหนึ่งของเนื้อหาที่ตีพิมพ์ เครื่องมือนับคำแบบดั้งเดิมมักแยกคำด้วยช่องว่างหรือเครื่องหมายวรรคตอนโดยไม่เข้าใจภาษาการจัดรูปแบบ ผลที่ตามมาคือ สัญลักษณ์เช่น # สำหรับหัวข้อ, ** สำหรับตัวหนา, > สำหรับข้อความอ้างอิง, เครื่องหมาย backticks (`) สำหรับโค้ด และลิงก์ URL ใน ([ข้อความ](https://example.com)) จะถูกคำนวณเป็นคำหรือทำให้จำนวนตัวอักษรสูงเกินจริง
สำหรับนักเขียนทางเทคนิค บล็อกเกอร์ และนักข่าว ความคลาดเคลื่อนนี้สร้างปัญหาอย่างมากเมื่อต้องการควบคุมจำนวนคำให้ตรงตามเกณฑ์ของผู้ตีพิมพ์ บทความเทคนิค Markdown 2,000 คำ อาจถูกรายงานเป็น 2,400 คำในเครื่องมือนับคำทั่วไป เพียงเพราะสัญลักษณ์โค้ดและลิงก์ URL ยาวๆ
Utiliome คำนวณสถิติ Markdown ที่แม่นยำได้อย่างไร
Utiliome แก้ปัญหานี้โดยใช้กระบวนการ AST (Abstract Syntax Tree) ร่วมกับ regex เพื่อคลีนข้อความก่อนนำไปคำนวณสถิติ:
- การกรองลิงก์และรูปภาพ: ข้อความสมอของลิงก์ (
[ข้อความ]) จะถูกเก็บไว้เพื่อนับคำ ในขณะที่ URL ปลายทาง ((https://...)) และโค้ดรูปภาพ () จะถูกกรองออก - การลบโทเค็นจัดรูปแบบ: สัญลักษณ์หัวข้อ (
#,##), เครื่องหมายเน้นข้อความ (*,_,**,__), ขีดฆ่า (~~) และสัญลักษณ์อ้างอิง (>) จะถูกลบออกก่อนประมวลผลคำ - การจัดการบล็อกโค้ด: บล็อกโค้ด (
js ...) และส่วนโค้ดอินไลน์จะถูกแยกประเภทไว้ต่างหาก ช่วยให้คุณวัดจำนวนคำในเนื้อหาหลักได้อย่างแม่นยำโดยไม่ถูกรบกวนด้วยโค้ด - การแยกประโยคและย่อหน้า: ข้อความถูกวิเคราะห์โดยใช้รูปแบบ regex ที่เข้าใจภาษา ทำให้แยกประโยค ตัวย่อ ทศนิยม และรายการสัญลักษณ์ได้อย่างถูกต้อง
ด้วยการแยกข้อความบริสุทธิ์ออกจากสัญลักษณ์ Markdown ทำให้ Utiliome ให้ข้อมูลที่แม่นยำและน่าเชื่อถือ เหมาะสำหรับกระบวนการสร้างคอนเทนต์สมัยใหม่