Việc tổng hợp danh sách người đăng ký email, từ khóa mục tiêu hoặc danh sách truy cập máy chủ thường dẫn đến các mục bị lặp lại. Công cụ này cung cấp cả hai tùy chọn lọc trùng lặp toàn cục và lọc trùng lặp liên tiếp:
Giả sử có danh sách chứa các mục trùng lặp sau:
apple
orange
apple
apple
banana
orange
Áp dụng lọc trùng lặp Toàn cục sẽ chỉ giữ lại lần xuất hiện đầu tiên của mỗi mục duy nhất:
apple
orange
banana
Chuyển sang chế độ chỉ lọc trùng lặp Liên tiếp sẽ giữ lại các mục lặp lại nằm ở những vị trí khác nhau trong tệp, đồng thời gộp các dòng trùng nhau nằm sát cạnh nhau (ví dụ: giữ nguyên khối apple thứ nhất và thứ hai tách biệt).