La compilation de listes d'abonnés e-mail, de mots-clés cibles ou de listes d'accès serveur génère souvent des entrées répétées. Cet outil propose à la fois des options de déduplication globale et consécutive :
Soit cette liste contenant des doublons :
apple
orange
apple
apple
banana
orange
L'application de la déduplication globale ne conserve que la première apparition de chaque élément unique :
apple
orange
banana
Le passage à la déduplication consécutive uniquement préserve les entrées répétées situées dans différentes parties du fichier tout en fusionnant les répétitions adjacentes (par exemple, en gardant séparés le premier et le deuxième bloc apple).