При сборе списков email-подписчиков, ключевых слов или списков доступа к серверу часто появляются повторяющиеся записи. Этот инструмент поддерживает как глобальное, так и последовательное удаление дубликатов:
Допустим, есть список с повторяющимися записями:
apple
orange
apple
apple
banana
orange
При глобальной дедупликации сохраняется только первое вхождение каждого уникального элемента:
apple
orange
banana
Переключение в режим удаления только подряд идущих дубликатов сохраняет повторы, находящиеся в разных частях файла, но схлопывает соседние совпадения (например, оставляя первый и второй блоки apple отдельно).