基础字数统计工具通常依赖简单的空白字符正则表达式(\s+),这在处理中文、日文和泰文等词与词之间没有空格分隔的文字时会完全失效。本字数统计工具使用支持多语言分词的 Intl.Segmenter 来精准识别词语边界:
例如,对于以下多语言文本片段:
Utiliome is fast & private 🚀!
Developer tools: 日本語のテキストと英語 (UTF-8).
分析引擎会输出以下结果:
Words: 13
Characters (with spaces): 68
Characters (without spaces): 58
UTF-8 Bytes: 93
Sentences: 2
Paragraphs: 2
可以看到,由于多字节日文字符和火箭 Emoji 的存在,UTF-8 字节数大于字符数;同时,工具兼顾了拉丁字母空格和日文分词边界,准确完成了词语切分。