이메일 구독자 명단, 키워드 목록, 서버 접근 리스트를 취합하다 보면 동일한 항목이 여러 번 들어가는 경우가 많습니다. 이 도구는 전체 중복 제거와 연속 중복 제거 옵션을 모두 제공합니다:
다음과 같이 중복 항목이 포함된 목록이 있다고 가정해 보겠습니다:
apple
orange
apple
apple
banana
orange
전체 중복 제거를 적용하면 각 고유 항목이 처음 등장한 줄만 남깁니다:
apple
orange
banana
연속 중복만 제거로 전환하면 파일의 다른 위치에 떨어진 중복 항목은 유지하면서 바로 인접해 반복되는 줄만 하나로 합칩니다(예: 첫 번째 apple과 두 번째 apple 구간을 각각 별도로 유지).