표본 100개는 '같다'고 했다 — 전부 확인하니 23개가 달랐다

오늘 배울 것 지울 파일을 몇 개까지 확인할지는, 그 폴더를 기계가 만들었는지 사람이 모았는지로 정합니다.

결과부터 — 98%는 안전하다는 뜻이 아니었어요

클라우드 저장소가 971GB까지 차서 721.53GB로 줄이는 작업을 했습니다. 그 중간에 이 일이 있었어요.

지우기 전에 "정말 똑같은 파일인가"를 확인해야 했습니다. 같은 파일이 두 군데에 있는 것으로 보이는 후보가 1,026개였어요. 전부 보면 오래 걸려서 103개만 골라 봤습니다. 이렇게 일부만 골라 보는 것을 표본이라고 해요. 결과는 101개 일치, 2개 불일치. 98%였어요.

그 뒤 1,026개를 전부 확인했습니다. 내용이 다른 파일이 23개 나왔어요. 1,026개 중 23개, 2.24%입니다.

표본도 2개가 다르다고 알려 줬어요. 103개 중 2개면 1.94%입니다. 두 비율은 거의 같아요. 표본이 틀린 답을 준 게 아닙니다. 알려 주지 못한 것은 "어느 파일이 다른가"였어요.

남겨야 할 23개 중 21개는 표본 밖에 있었습니다. 표본에서 멈췄다면 그 21개는 "같다" 쪽으로 묶여 지워졌을 거예요. 그래서 1,026개를 전부 확인하고, 일치로 나온 1,003개만 지우고 23개는 남겼어요.

같은 작업 안에 다른 폴더도 있었습니다. 기계가 통째로 복사해 둔 폴더였어요. 거기는 골라 본 153개가 100% 일치였고, 9,868개 35.03GB를 그대로 지웠습니다.

그래서 확인 범위를 폴더 종류로 나눴어요.

무엇이 문제였나 — 이름과 크기는 증거가 아니에요

중복 파일을 지우려면 먼저 "진짜 같은 파일인가"를 알아야 합니다. 이름이 같고 크기도 같아도 내용은 다를 수 있어요. 그래서 파일 내용으로 지문을 뽑아 양쪽을 맞댔습니다. 이 지문을 해시라고 불러요.

코드로는 두 줄입니다. 직접 칠 필요는 없어요, 모양만 봐 주세요. 한쪽 지문과 다른 쪽 지문을 구해서, 같으면 "일치", 다르면 "불일치"로 적었어요.

$h1 = (Get-FileHash -LiteralPath $a -Algorithm SHA256).Hash   # 한쪽 파일의 내용 지문
$h2 = (Get-FileHash -LiteralPath $b -Algorithm SHA256).Hash   # 다른 쪽 파일의 내용 지문

이 대조를 처음에는 103개에만 돌렸고, 나중에 1,026개 전부에 돌렸습니다.

같은 작업에서 삭제의 대가도 봤습니다. 다른 실수로 엑셀 파일 한 개(83KB)를 잃었어요. 웹 휴지통에서 되살릴 수 있었지만 마감이 2026-09-05경이었습니다. 기한이 붙은 사람 몫의 숙제로 남았어요. 잘못 옮긴 파일은 다시 옮기면 되지만, 지운 파일은 기한이 지나면 그 복구 경로가 사라집니다.

왜 표본으로는 부족했나 — 비율은 맞았지만 목록이 없었어요

표본 103개의 판정은 전부 확인한 결과와 103개 모두 같았습니다. 하나도 어긋나지 않았어요.

모자랐던 것은 비율이 아니라 목록이었습니다. 지우기는 되돌릴 수 없으니까요. "몇 퍼센트가 같은가"가 아니라 "어느 파일이 다른가"를 알아야 지울 목록을 만들 수 있어요.

98%는 목록이 되지 못해요. 남은 2%가 어디 있는지 모르니까요.

기계가 복사한 폴더는 양쪽 경로가 완전히 같았습니다. 골라 본 153개가 모두 일치였고, 그래서 거기서 멈췄어요.

사람이 "나중에 정리하자"며 한곳에 몰아 둔 폴더는 달랐어요. 같은 이름인데 내용이 다른 파일이 섞여 있었습니다. 경로 구조도 서로 달라서 표본만으로는 부족했습니다.

23개가 왜 달랐는지는 기록에 없어요. 아는 것은 "같은 이름인데 내용이 달랐다"까지입니다.

그래서 이렇게 바꿨어요 — 따라 하는 순서

1. 이 폴더를 기계가 만들었는지, 사람이 모았는지 먼저 묻습니다. 기계인지 사람인지 한쪽으로 답이 나오면 성공이에요.

2. 기계가 만든 폴더면 표본, 사람이 모은 폴더면 전부 확인합니다. 볼 개수가 정해지면 성공입니다.

3. 이름과 크기가 아니라 내용 지문으로 맞댑니다. 파일마다 일치 또는 불일치가 적히면 성공이에요.

4. 지우기 전에 남길 원본이 디스크에 실제로 있는지 하나씩 봅니다. 목록 파일만 믿지 않습니다.

5. 큰 작업 전후로 파일 개수와 용량을 전부 맞춰 봅니다. 양쪽 숫자가 같으면 1차 대조를 통과한 거예요.

다음 작업 메모에는 이런 줄이 남았어요. 큰 삭제 작업 전에 전부 확인할지를 미리 판단할 것.

확인 범위는 파일이 몇 개인지가 아니라 그 폴더를 누가 만들었는지로 정했어요. 기계가 복사한 것은 표본으로 충분했고, 사람이 손으로 모은 것은 전부 봐야 했습니다. 98%는 안전하다는 뜻이 아니었어요.