아무렇게나 찍은 것보다 못했다 — 가짜 추첨 2000번으로 AI 성적을 재 봤다

오늘 배울 것 AI가 내놓은 점수는 "아무렇게나 해도 이만큼"이라는 기준선과 나란히 놓아야 뜻이 생깁니다.

결과부터 — 점수는 그대로인데 뜻이 뒤집혔어요

이 글은 번호를 맞히는 방법이 아니라 숫자를 재는 방법에 대한 글입니다.

저는 로또 번호를 예측해 보는 사이트를 운영해요. 10월 말에 그 사이트의 분석 글을 23개 회차분 다시 썼습니다. 한 일은 네 가지예요.

1. 예측 묶음은 그대로 두고 당첨번호만 무작위로 2000번 뽑는 가짜 추첨을 돌렸어요.

2. 그 결과로 '우연의 95% 범위'를 만들어 예측 방법 일곱 개의 성적을 대 봤습니다.

3. 1245회 시점으로 끊어 보니 일곱 개 중 하나가 그 범위 아래였어요. 회차를 다 합친 누적 3개 이상 일치율이 0.15%인데, 범위는 0.23~9.95%였습니다.

4. 이 범위를 분석 판정의 공식 기준으로 정하고, 그 회차들의 분석을 새 버전으로 바꿔 올렸어요.

이번에 더한 것은 점수가 아니라 기준선이에요. 같은 성적 숫자를 기준선 옆에 놓자 읽는 뜻이 뒤집혔습니다.

점수는 있었는데 기준이 없었어요

원래 제 사이트에는 예측 방법별로 "3개 이상 맞은 비율"이 숫자로 떠 있었어요. 그런데 그 숫자를 우연의 범위와 비교하지 않았습니다. 그래서 해석이 약했어요.

눈금 없는 자로 길이를 잰 것과 같아요. 길이는 재어 적었지만, 긴지 짧은지는 아무도 모릅니다.

쉬운 기준선 하나는 이미 있었어요. 번호 여섯 개를 아무렇게나 골라도 3개 이상 맞을 확률은 2.3834%, 평균 일치 개수는 0.8개입니다. 조합의 개수에서 나오는 값이라 회차가 쌓여도 변하지 않아요.

앞에서 말한 0.23~9.95% 는 이것과 다른 기준선이에요. 그쪽은 그 예측 방법이 낸 예측 묶음으로 가짜 추첨을 돌려 나온 범위입니다.

그런데 이 값 하나로는 예측 방법마다 다른 사정을 담지 못했습니다. 같은 회차에 나온 예측은 비슷한 번호에 몰려 있어요. 그걸 서로 독립된 시행 수천 건으로 보고 계산하면, 우연 범위가 터무니없이 좁게 나옵니다. 사실상 표본은 예측 건수가 아니라 회차 수였어요.

가짜 추첨 2000번으로 기준선 만들기

화살(예측)은 그대로 두고 과녁(당첨번호)만 아무렇게나 옮겨 보는 식이에요. 단계는 여섯 개입니다.

1. 그 회차에 예측 방법 하나가 낸 예측 묶음을 그대로 둬요. 바꾸는 건 당첨번호뿐입니다.

2. 번호 여섯 개를 아무렇게나 뽑아 가짜 당첨번호를 만들어요.

3. 그 가짜 번호로 3개 이상 맞은 예측이 몇 개인지 셉니다.

4. 2번과 3번을 2000번 되풀이해요. 센 값이 2000개 쌓이면 성공입니다.

5. 2000개를 작은 값부터 줄 세워 양쪽 2.5%씩 잘라내요. 남는 가운데가 아래에서 2.5%~97.5% 구간입니다.

6. 그 구간의 양 끝 두 값을 예측 건수로 나눠 비율(%)로 바꿔요. 이게 '우연의 95% 범위'인 0.23~9.95% 같은 숫자입니다. 실제 성적도 같은 비율이라, 위·안·아래 어디인지 바로 댈 수 있어요.

실제 코드에서 뜻만 남겨 줄이면 이렇게 생겼어요.

for (let s = 0; s < 2000; s++) {          // 가짜 추첨 2000번
  const 가짜당첨 = 아무렇게나_여섯개();      // 바꾸는 건 당첨번호뿐
  기록[s] = 세기(예측묶음, 가짜당첨);        // 3개 이상 맞은 예측이 몇 개인가
}

난수 시드는 가짜 추첨 방식 이름과 회차로 고정했어요. 같은 자료면 언제 돌려도 같은 결과가 나와야 믿을 수 있으니까요. 이렇게 쌓인 결과 파일은 지금 56개 회차분입니다.

비유가 맞지 않는 데도 있어요. 과녁을 옮기는 건 공평한 비교를 하려는 것이지, 화살이 좋다는 뜻이 아닙니다.

제 일에 그대로 옮겨 쓰기

이 재는 법은 로또가 아닌 점수에도 옮겨 볼 수 있어요. 스스로 물을 질문은 하나예요. "이 숫자는 아무렇게나 했을 때보다 높은가?"

1. 점수 옆에 기준선을 같이 적어요. 저는 예측 도구 화면 두 곳에 각 예측 방법의 장기 성적과 무작위 범위를 나란히 띄우게 고쳤습니다.

2. 기준선은 조건을 하나만 흔들어 만들어요. 여기서 흔든 건 당첨번호 하나뿐입니다.

3. 표본이 몇 개인지 먼저 세요. 잘못 세면 실제보다 훨씬 확실해 보입니다.

4. 나쁘게 나온 결과도 그대로 적어 둬요. 1245회 시점에 범위 아래였던 그 예측 방법을 미해결 발견 사항으로 적어 뒀습니다.

기준선은 회차가 쌓이면 다시 그어져요. 그다음 두 회차 자료에서는 같은 예측 방법이 범위 안이었습니다 — 1247회 시점 0.33%에 범위 0.22~7.59%. 범위 안은 잘했다는 뜻이 아니라 우연과 구별되지 않는다는 뜻이에요.

말을 아껴야 하는 자리도 있어요. 예측 방법 일곱 개를 한꺼번에 보면 그중 일부는 우연히 범위를 벗어날 수 있습니다. 그래서 "확정된 실패"라고 쓰지 않고, "그때는 우연이라면 범위 안에 들어왔을 텐데 아래였다"까지만 적었어요.

좋다·나쁘다를 말하기 전에 "아무렇게나 해도 이만큼"을 먼저 만들어 보세요. 기준선이 없으면 점수는 점수가 아니라 느낌입니다.