AI 검토 8번, 지적 120건 — 멈추는 건 사람이 정한다

오늘 배울 것 AI 검토는 스스로 끝나지 않을 수 있으니, 남은 지적이 일부러 만든 입력뿐이면 사람이 멈추고 직접 써 봐야 합니다.

결과부터 — 8번 돌렸고, 지적은 0이 되지 않았어요

제가 AI로 만든 프로그램 중에 DVIEW가 있어요. 3D 설계 파일을 열어 보고, 부품의 부피와 무게를 계산해 주는 프로그램이에요.

6회차까지는 그 전에 돌렸고, 8월 20일 하루 동안 7회차(R7)부터 14회차(R14)까지 여덟 번 더 검토를 받았어요. 회차마다 나온 '막는 지적(BLOCKER)' 수는 이렇습니다. 막는 지적은 고치기 전에는 다음으로 넘어가지 못하는 지적이에요.

합치면 120건이에요. 12건보다 적게 나온 회차는 한 번도 없었어요. AI는 지적을 하나씩 실제로 일으켜 보고(재현), 진짜 결함이면 고쳤어요. 그래도 다음 회차에는 새 지적이 나왔어요.

14회차가 끝나고 제가 멈추자고 했어요. 그리고 프로그램을 직접 써 봤어요. 그러자 검토에서 다루던 것과 성격이 다른 문제 두 가지가 나왔어요.

검토를 어떻게 맡기는지는 앞선 글에 적었어요. 이 글은 그 반대편, 언제 멈추느냐의 이야기입니다.

무엇이 문제였나 — 속 빈 상자의 부피

네 회차 연속으로 붙잡은 지적이 있어요. 속 빈 상자의 부피예요. 가로·세로·높이가 10인 상자 안에 5짜리 빈칸이 들어 있는 시험용 모양이에요. 파이프나 상자처럼 실제 설계에서 흔한 형태입니다. 이런 부품 속 빈 공간을 공동이라고 불러요.

바깥 상자는 1000, 빈칸은 125예요. 진짜 재료는 1000 − 125 = 875입니다. 그런데 프로그램은 1125라고 답했어요. 빈칸을 빼지 않고 더한 거예요.

왜 이런 일이 생겼을까요? 이런 속 빈 부품의 3D 파일에는 바깥 벽과, 안팎이 뒤집힌 안쪽 벽이 들어 있어요. 그래서 계산하면 빈칸은 −125, 즉 '빼기'로 나옵니다.

문제는 '빼기'가 실수로도 생긴다는 점이에요. 떨어져 있는 작은 조각이 안팎이 뒤집힌 채 저장되면, 이것도 −125로 나와요. 이때는 진짜 조각이니 더해야 맞습니다.

받은 숫자는 똑같아요. 다른 건 작은 상자가 안에 있느냐뿐이에요. 앞 회차들에서 뒤집힌 조각 문제를 고치면서 '빼기가 섞여 있으면 전부 더한다'는 규칙이 들어갔어요. 이 규칙이 빈칸까지 더해 버린 거예요.

그래서 '안에 있나'를 판단하는 방법을 회차마다 바꿨어요. 11회차에는 두 조각을 각각 상자로 감싸서, 작은 상자가 큰 상자 안에 드는지로 판단했어요. 그러자 다음 검토가 도넛 가운데 구멍에 놓인, 뒤집혀 저장된 공을 짚었어요. 감싼 상자로 보면 도넛 안이지만, 실제로는 재료 바깥이라 빼면 안 되는 조각이에요.

그 뒤로도 판단 방법을 세 번 더 바꿨어요. 14회차에서야 시험용 모양 여덟 가지가 모두 맞았어요.

왜 끝나지 않았나 — 검토자는 질문을 계속 지어낸다

코드 리뷰(코드 검토)는 다 쓴 글을 다른 사람에게 교정받는 것과 비슷해요. 정확히는 만든 쪽이 아닌 누군가가 코드를 읽고 틀린 곳을 짚는 일입니다. 다만 맞춤법 오류는 개수가 정해져 있지만, 코드 검토는 "이런 입력이 들어오면?"을 끝없이 만들어 낼 수 있어요.

이 프로젝트는 AI 둘로 반복을 돌렸어요. Claude가 고치면 자동 시험(맞게 계산하는지 스스로 확인하는 코드)이 돌고, Codex가 네 가지 관점으로 검토해요. 만든 AI와 다른 AI가 검토하는 이 방식을 교차검증이라고 불러요. 막는 지적이 하나라도 있으면 다시 고치러 돌아갑니다. 끝나는 조건은 '막는 지적 0건'이었어요.

0건은 오지 않았어요. 기록에는 더 앞선 단계에서 이미 이렇게 적혀 있었어요. 3D 모양을 계산하는 코드는 특이한 경우가 "사실상 무한"해서, 검토가 0건으로 끝나지 않는다고요.

검토자는 회차마다 새 이상한 입력을 만들어 왔어요. 1 뒤에 0이 308개 붙은 좌표, 정상 값인 척하는 가짜 값, 똑같이 겹친 모양 같은 것들이에요. 이렇게 시험하려고 일부러 만든 입력을 합성 입력이라고 해요. 이런 입력을 막는 코드를 넣으면, 그 코드가 또 새 빈틈을 만들었어요.

후반 지적의 상당수는 바로 앞 회차의 수정이 만든 고장이었어요. 수도꼭지를 고쳤더니 옆 배관이 새는 식이에요. 이런 고장을 회귀라고 불러요. 속 빈 상자도 그중 하나였어요.

검토가 쓸모없었다는 얘기는 아니에요. 기록에는 "교차검증이 아니었다면 이 회귀들은 사용자가 발견했을 것"이라고 남아 있어요. 문제는 이번 검토가 스스로 멈추지 않았다는 거예요.

어떻게 멈췄나 — 건수 대신 종류를 봤다

멈춘 근거는 작업일지에 세 가지로 남아 있어요.

• 틀린 숫자, 사라지는 데이터, 꺼지는 프로그램처럼 꼭 막아야 할 결함은 회차마다 고쳐졌다.

• 최근 지적의 상당수가 직전 수정이 만든 회귀였다. 속 빈 상자는 네 회차 연속으로 고쳤다.

• 남은 지적은 점점 좁은, 일부러 만든 입력에 대한 것이었다. 실제로 쓰다 만날 위험보다 고치다 망가뜨릴 위험이 커졌다.

다시 시작할 조건도 적혀 있어요. 실제로 쓰다가 결함이 보고되면, 그 부분만 좁혀서 다시 돌린다는 거예요.

이 기록을 따라 하기 쉽게 옮기면 이렇습니다.

1. 지적 건수 옆에 '실제로 쓰다 생길 결함' 칸을 따로 둡니다. 이렇게 보이면 성공: 전체 건수가 그대로여도 이 칸이 줄어드는지 따로 보입니다.

2. 지적마다 '앞 수정이 만든 것인가'를 표시합니다. 이렇게 보이면 성공: '내가 만든 회귀' 목록이 따로 생깁니다. 이번에는 9·11·12회차에서 나왔어요.

3. 막는 코드를 넣을 때마다, 정상 입력이 통과하는지 보는 시험을 짝으로 넣습니다. 이렇게 보이면 성공: 그 짝 시험이 다음 회귀를 먼저 잡아요. 12회차에 실제로 그랬어요.

4. 남은 지적이 일부러 만든 입력뿐이면 멈추고, 다시 시작할 조건을 한 줄로 적습니다. 이렇게 보이면 성공: "왜 멈췄지?"라는 질문에 1단계에서 만든 칸과 이 한 줄로 답할 수 있어요.

5. 멈춘 뒤에는 직접 써 봅니다. 이렇게 보이면 성공: 다시 검토할 곳이 실제로 쓰다 걸린 부분으로만 좁혀져요.

제 경우가 5번이었어요. 써 보다가 두 가지를 알렸어요. 하나는 "여러 개체가 하나로 인식된다"였고, AI가 재현해서 고쳤어요. 다른 하나는 "선택하면 응답없음"이었어요.

두 번째는 일부러 만든 시험 데이터로는 재현되지 않았어요. 속도를 재 봐도 부품 목록 클릭이 0.006~0.018초로 문제없었어요. AI는 짐작으로 고치지 않고, 프로그램이 멈추는 순간을 기록하는 진단 도구를 만들었어요. 기록이 끝나는 시점까지, 이 문제는 제 파일에서 다시 나타나기를 기다리는 상태였어요.

검토가 막판에 붙잡은 것은 일부러 만든 입력이었어요. 제가 겪은 멈춤은 그런 입력으로는 재현되지 않았고요.

AI 검토자는 질문을 끝없이 지어낼 수 있습니다. 그래서 멈추는 기준은 건수가 아니라 종류예요 — 남은 지적이 실제로 쓰다 만날 일이 아니라면, 검토를 멈추고 직접 써 볼 차례입니다.