AI가 쓴 지시가 틀렸다 — 조사 AI가 정부 고시를 찾아와 바로잡은 날

오늘 배울 것 지시 속 "아마 그럴 거야"는 틀릴 수 있어요. AI에게 그 전제를 뒤집을 원문 자료부터 찾게 하면, 틀린 내용이 글이 되기 전에 걸러집니다.

결과부터 — 틀린 전제는 글이 되기 전에 걸러졌어요

2026년 8월 20일, 제 블로그 글 작업에서 지시문 하나가 틀렸어요. 조사를 맡은 AI가 받은 지시문에 이런 가정이 있었습니다.

크레아틴은 국내 건강기능식품 인정 원료가 아닐 가능성이 높다 → 없으면 일반식품/해외직구 축으로 전개

건강기능식품은 나라가 정한 기준으로 관리하는 식품 분류예요. 크레아틴은 이런 제품에 쓰이는 성분이에요. 해외직구는 외국 쇼핑몰에서 직접 사는 것이고요. "국내 건강기능식품 원료는 아닐 테니, 일반 식품이나 해외직구 쪽으로 쓰라"는 뜻이었습니다.

이 가정은 사실이 아니었어요. 조사 AI는 정부 고시 원문을 내려받아 읽었습니다. 고시는 학교 게시판의 공식 공지문 같은 문서예요. 정확히는 정부 기관이 정한 기준을 공식적으로 알리는 문서입니다. 그 고시에 크레아틴이 이미 올라 있었어요.

조사 AI는 보고서 맨 위에 "지시문 전제가 뒤집혔습니다 (가장 먼저 읽을 것)"라고 적었습니다. 그래서 글을 쓰기 전에 방향이 바뀌었고, 바뀐 방향으로 쓴 글이 그날 발행됐어요. 가정대로 썼다면 사실과 다른 글이 나갔을 겁니다.

이 글은 건강 정보 글이 아닙니다. 고시에 무엇이 적혀 있었는지만 옮겨요.

무슨 일이 있었나 — 지시문 속 "아마 그럴 거야"

새 글 작업에 대해 작업일지에 남은 제 지시는 맨 위 상자에 적은 한 번뿐이에요.

일은 AI 여럿이 나눠 맡았어요. 주방장이 요리사들에게 일을 나눠 주듯, 지휘 AI가 지시문을 쓰고 조사 AI 같은 하위 AI가 그걸 받아 일합니다.

지휘 AI는 먼저 제 말대로 곧 접을 블로그 8곳을 중복 검사에서 뺐어요. 중복 검사는 도서관에서 같은 책이 있나 목록부터 보듯, 새 주제가 이미 쓴 글과 겹치는지 대조하는 검사예요. 대상 글이 823편에서 294편으로 줄자, 겹친다며 막혀 있던 주제들이 열렸습니다. 크레아틴도 그중 하나였어요.

문제는 그다음이었어요. 지휘 AI가 조사 AI에게 지시문을 쓰면서 앞의 가정을 깔았습니다. 집을 지을 때 땅을 믿고 기초를 놓듯, "당연히 그렇겠지" 하고 깔고 가는 생각을 전제라고 해요. 땅이 무르면 위에 올린 것이 다 기웁니다.

이 전제를 쓴 건 제가 아니었어요. 지휘 AI는 이틀 뒤 인계 노트(다음 작업 때 읽을 메모)에 이렇게 적었습니다. "크레아틴 건에서 내가 준 전제가 틀렸고 서브에이전트가 1차 자료로 뒤집었다." 서브에이전트는 하위 AI, 여기서는 조사 AI예요. 1차 자료는 다음 절에서 풉니다.

같은 일은 제 지시에도 생길 수 있어요. 쓰는 쪽이 사람이든 AI든, "아마 그럴 거야"는 확인 전까지 추측입니다.

조사 AI가 찾은 것 — 정부 고시 원문 두 쪽

조사 AI는 크레아틴의 국내 지위를 1차 자료로 확인했어요. 1차 자료는 친구가 전해 준 시험 범위가 아니라, 선생님이 나눠 준 공지문 같은 원본입니다. 정확히는 규칙을 만든 기관이 직접 낸 원래 문서예요.

이번 원본은 식품의약품안전처(식품·의약품 안전을 맡은 정부 기관) 고시 제2026-43호 「건강기능식품의 기준 및 규격」이었습니다. 조사 AI는 이 기관의 식품 정보 사이트인 식품안전나라에서 '2-63 크레아틴' 항목의 원문 PDF를 내려받아, 두 쪽을 끝까지 읽었어요. PDF는 모양이 고정된 문서 파일이에요.

원문에서 이 글과 관계있는 내용은 두 가지였어요.

• 크레아틴은 '고시형' 기능성 원료로 이미 올라 있었습니다. 정부가 공개한 '허용 재료 목록'에 이름이 있는 재료라고 생각하면 쉬워요. 기준과 규격만 맞추면 인정 절차(원료를 따로 심사받아 허락받는 절차)가 필요 없습니다.

• 하루 섭취량은 "크레아틴으로서 3 g" 하나였습니다. 범위가 아니라 값 하나예요.

다시 밝혀 둡니다. 크레아틴을 먹으라거나 먹지 말라는 이야기가 아니에요. 원본 문서에 무엇이 적혀 있었는지만 옮겼습니다.

이 두 줄이 글의 방향을 바꿨어요.

• 해외직구 쪽으로 썼다면 틀린 글이 됐습니다. 조사 보고서는 이것을 "사실관계 오류"라고 적었어요.

• 앞서 쓴 비슷한 글들에는 하루 섭취량을 mg(밀리그램, 1 g의 1,000분의 1) 단위로 견주는 표가 되풀이해 들어갔어요. 값이 3 g 하나라 그 틀이 맞지 않았고, 오히려 그 점이 차별점이 됐습니다.

• 틀렸던 전제는 글 안의 "오해" 표에서 "해외직구 전용 원료다"를 바로잡는 줄이 됐어요.

그날 작업일지에는 규칙 한 줄이 남았습니다. "리서치 결과가 지시 전제와 충돌하면 지시를 무조건 따르지 말고 1차 자료를 우선할 것."

따라 하기 — AI가 내 지시를 반박할 수 있게 맡기기

같은 장치를 내 지시에도 걸 수 있어요.

1. 지시문에서 "아마 ~일 거야"를 찾아 한 줄로 따로 적습니다. 이렇게 보이면 성공: 전제가 한 문장으로 따로 적혀 있다.

2. 그 전제를 "맞는지 먼저 확인해 줘"로 바꿔 씁니다. 이렇게 보이면 성공: 지시문에 "틀리면 방향을 바꿔도 된다"는 문장이 있다.

3. 확인은 원문으로 하게 합니다. 법령, 정부 고시, 공식 문서처럼 규칙을 만든 곳의 문서요. 이렇게 보이면 성공: 근거마다 원문 주소와 번호(이번이라면 고시 제2026-43호의 2-63 항목)가 붙어 있다.

4. AI가 "전제가 틀렸다"고 하면 그 주소를 직접 열어 봅니다. 이렇게 보이면 성공: AI가 인용한 문장을 원문에서 내 눈으로 찾았다.

5. 확인되면 방향을 바꿉니다. 틀린 전제는 "흔한 오해"로 글에 넣어도 좋아요. 이렇게 보이면 성공: 새 방향 옆에 근거 원문이 적혀 있다.

예시 지시문은 이렇게 생겼어요. 그날 쓴 문장이 아니라, 괄호 안만 바꿔 쓰는 연습용 틀입니다.

글을 쓰기 전에 아래 전제가 맞는지 먼저 확인해 줘.
전제: (내가 '아마 그럴 거야'라고 생각하는 한 줄)
- 확인은 원문으로: 법령, 정부 고시, 공식 문서
- 전제가 틀리면 방향을 바꿔도 돼
- 전제가 틀렸으면 보고서 맨 위에 먼저 적어 줘
- 근거마다 원문 주소와 번호를 붙여 줘

막히면

• AI가 원문 없이 "맞습니다"만 하면, 원문 주소와 번호를 다시 달라고 하세요. 주소가 열리지 않는 답은 근거로 쓰지 않습니다.

• 원문이 어려우면 "쉬운 말로 풀어 주고, 원문 문장도 같이 보여 줘"라고 하세요.

• 원문이 여러 개면 날짜를 보세요. 고시는 고쳐지기도 해요. 이번 고시에도 시행일(2026년 6월 11일)이 따로 적혀 있었습니다.

사람이 쓰든 AI가 쓰든, 지시 속 전제는 틀릴 수 있습니다. 전제는 정답이 아니라 확인할 것으로 적고, 그 전제를 뒤집을 원문을 AI가 먼저 찾게 하세요.