Базовые счетчики слов полагаются на простые регулярные выражения для пробелов (\s+), которые совершенно не работают с логографическими системами письма, такими как китайская, японская и тайская, где слова не разделяются пробелами. Этот счетчик слов использует Intl.Segmenter с определением границ слов с учетом локали:
Например, для такого многоязычного отрывка:
Utiliome is fast & private 🚀!
Developer tools: 日本語のテキストと英語 (UTF-8).
Аналитический движок выдает:
Words: 13
Characters (with spaces): 68
Characters (without spaces): 58
UTF-8 Bytes: 93
Sentences: 2
Paragraphs: 2
Обратите внимание, что количество байтов UTF-8 превышает количество символов из-за многобайтовых японских символов и эмодзи ракеты, а слова сегментируются как по пробелам латиницы, так и по границам японских слов.