중복 줄 제거기 — 공백 무시를 켜도 원문이 그대로 남는 이유

한 줄씩 입력한 목록에서 중복을 정리하고 첫 등장 순서와 원문 줄 번호를 확인한다. 공백·대소문자 비교 옵션이 결과를 바꾸는 범위와 빈 줄 처리의 차이를 설명한다.

먼저 답하면

목록에 사과, 배, 사과가 있으면 결과는 사과, 배 순서로 남는다. 중복 줄 제거기는 정렬을 하지 않고 처음 나온 줄의 순서와 원문을 보존한다. 반복된 줄을 제거한 수와 빈 줄을 제거한 수는 따로 표시하므로 둘을 같은 종류의 중복으로 해석하지 않는다.

비교 기준만 바뀌고 원문은 남는다

기본값에서는 공백과 대소문자를 구별한다. Apple과 apple은 서로 다른 항목이고, 사과와 앞뒤에 공백이 있는 사과도 다른 줄이다. 대소문자 무시를 켜면 Apple과 apple이 같은 그룹으로 묶이지만 결과에 남는 것은 처음 입력한 Apple이다. 소문자로 변환된 목록을 만들어 주는 기능이 아니다.

공백 무시는 각 줄의 앞뒤 공백을 제거한 값으로 비교한다. 사과와 사과가 같다고 판단돼도 처음 줄의 앞뒤 공백은 결과에 보존된다. 문장 안의 공백은 제거하지 않으므로 빨간 사과와 빨간사과는 이 옵션만으로 합쳐지지 않는다. 입력 문자열이 다른 철자, 띄어쓰기, 의미를 가진 것인지까지 판정하지도 않는다.

빈 줄과 줄바꿈을 확인한다

기본값은 빈 줄 제거가 켜져 있다. 공백 무시를 끈 상태에서 스페이스만 있는 줄은 빈 문자열이 아니므로 남을 수 있다. 앞뒤 공백 무시를 함께 켜면 이런 줄도 비교용 값이 비어 빈 줄로 제거된다. 빈 줄 제거를 끄면 빈 항목도 중복 비교에 들어가며 처음 나온 하나가 남을 수 있다.

윈도우의 CRLF와 일반 LF 줄바꿈은 같은 구분자로 처리한다. 문서 맨 끝의 줄바꿈 하나는 새 항목으로 세지 않는다. 줄바꿈이 여러 번 있으면 그 앞의 빈 항목은 옵션에 따라 처리된다. 쉼표로 이어진 내용을 자동으로 여러 항목으로 나누는 도구가 아니므로 한 줄에 하나씩 넣는다.

원문 줄 번호로 삭제 대상을 살핀다

중복 그룹에는 처음 나온 줄 번호와 반복된 줄 번호가 표시된다. 목록이 길면 복사 전에 이 번호를 원본과 대조한다. 화면에 표시되는 중복 그룹은 최대 50개지만 전체 중복 그룹 수와 정리 결과는 별도로 제공한다. 화면에 모든 그룹이 보이지 않는다고 뒤쪽 중복 처리가 중단된 것은 아니다.

입력 한도는 20만 글자·1만 줄이다. 긴 목록을 여러 조각으로 나누면 각 조각 안에서만 중복을 제거하므로 서로 다른 조각에 걸친 중복은 남는다. 분할 작업 결과를 합칠 때는 전체 중복이 사라졌다고 단정하지 않는다. 원본을 보관하고 정리본을 별도 파일로 저장하는 편이 안전하다.

입력과 계산은 브라우저 안에서 처리하고 서버로 보내지 않는다. 다만 결과를 클립보드에 복사한 뒤 다른 서비스에 붙여 넣는 것은 별도의 공유 행동이므로 개인정보 목록을 다룰 때는 붙여 넣을 대상을 확인한다. 수정 전후 차이를 검토하려면 텍스트 비교기, 목록 길이를 확인하려면 글자 수 계산기를 함께 사용할 수 있다.