La compilazione di liste di iscritti via email, elenchi di parole chiave o liste di accesso al server porta spesso a voci ripetute. Questo strumento offre opzioni di deduplicazione sia globale che consecutiva:
Dato questo elenco contenente voci duplicate:
apple
orange
apple
apple
banana
orange
Applicando la deduplicazione Globale viene mantenuta solo la prima occorrenza di ciascun elemento unico:
apple
orange
banana
Passando alla deduplicazione Solo consecutiva vengono preservate le voci ripetute che compaiono in parti diverse del file, unendo invece le ripetizioni adiacenti (ad esempio, mantenendo separati il primo e il secondo blocco di apple).