예/아니오 추리 게임의 LLM 판정기 검수: 공개 시험지만 보면 속는다
사건 수첩은 플레이어가 예/아니오로 답할 수 있는 질문을 던지며 사건의 진상을 맞히는 추리 게임이다. 질문 판정과 마지막 정답 채점은 LLM이 한다. 모델은 사건의 진상과 판정 메모를 보고 질문마다 예 · 아니오 · 상관없음 같은 판정을 내린다. 핵심을 짚은 질문에는 큰 도장을 찍어 준다.
직접 돌리는 로컬 모델을 판정 맨 앞에 두고, 실패하면 외부 API 모델로 넘기게 붙였다. 붙이는 건 금방이었고, 오래 걸린 건 이 모델을 믿어도 되는지 확인하는 일이었다.
검수 스크립트
사건마다 질문과 기대 판정 목록을 만들어 두고 스크립트로 돌린다. 질문은 세 갈래다.
- 기대 판정: 보통 질문과 기대하는 답
- 함정: 그럴듯하지만 '아니오'여야 하는 질문. 플레이어가 잘못된 가설로 몰리지 않는지 본다.
- 핵심: 진상에 닿는 질문으로 '예'여야 한다. 여기서 틀리면 게임이 막힌다.
정답 채점 문제도 따로 두고, 응답 시간 · 오류 · JSON 깨짐까지 리포트로 남겼다. 같은 스크립트를 외부 모델에도 돌려 기준선으로 썼다.
버전마다 다른 데서 틀렸다
| 버전 | 결과 |
| v1 | 기대 판정 73/74. 큰 도장을 거의 안 찍었고, '~하지 않았다' 같은 부정 사실을 무시해 3개를 틀렸다. |
| v2 | 도장은 고쳐졌지만 부정 의문문 · 가정 질문에서 흔들리고 '상관없음'을 남발해 7개가 새로 틀렸다. |
| v3 | 다시 73/74. 함정 · 핵심은 전부 맞았다. |
| v4 | 공개 검수 전부 통과. |
공개 시험지는 외워질 수 있다
v3과 v4가 공개 검수를 거의 다 맞혔지만 그대로 믿기 어려웠다. 모델을 돌리는 쪽은 요청 로그로 우리가 던진 질문을 전부 볼 수 있고, 다음 버전은 그 질문을 맞히도록 고쳐질 수 있다. 시험지를 보고 공부한 학생의 점수는 실력이 아니다.
그래서 버전마다 새로 쓰는 비공개 질문을 만들었다. 저장소에는 올리지 않는 폴더에 두고, 모델 쪽에는 틀린 질문 원문 대신 '어떤 유형을 틀렸는지'만 알려 줬다.
- v3은 비공개 질문 32개 중 31개를 맞혔다. 틀린 하나는 '범인이 변장하지는 않았어?'였다. 틀린 가설을 부정형으로 물으면 판정이 뒤집혔다. 부정 사실을 바로잡으려고 넣은 규칙이 거꾸로 작동한 것으로 보였다.
- v4에 이 유형만 전달하고, 같은 유형을 새로 쓴 질문 6개를 포함한 다음 비공개 세트 24개를 전부 맞혔다.
- 마지막으로 판정 메모 없이 처음 보는 사건 두 개를 새로 써서 돌렸다. 기대 판정 36개, 함정, 핵심, 채점까지 전부 맞았다.
모델에 맡기지 않을 질문
검수를 늘리다 보니 모델이 '누가 범인이야?'에 큰 도장 '예'를 준 일이 있었다. 이 게임에서 '누가', '왜', '어떻게'로 묻는 질문은 예/아니오로 답할 수 없는 질문이라 판정할 대상이 아니다. 이런 질문은 모델에 보내지 않고 서버에서 바로 반려하게 했다. '누가 있었어?'처럼 의문사가 있어도 예/아니오로 답할 수 있는 질문은 통과시키고, 그 경계는 테스트로 묶었다.
느린 것과 꺼지는 것
로컬 모델은 동시에 두 건이 들어오면 바쁘다(429)며 거절했다. 사실상 한 번에 한 건이다. 검수 중에는 1분 안쪽으로 꺼져 있던(503) 때도 있었다. 처음에는 실패하면 외부 모델로 넘겼고, 나중에 판정과 채점을 로컬 모델 하나로 모으면서 처리 방식을 바꿨다.
- 서버가 로컬 모델 호출을 한 줄로 세운다. 기다리는 요청이 너무 많으면 그때 '바쁨'으로 돌려보낸다.
- 429가 오면 0.8 · 1.6 · 2.4 · 3.2초 쉬었다가 다시 보낸다.
- '바쁨'과 '꺼짐'을 나눈다. 최근 1분 안에 429가 아닌 실패(꺼짐 · 연결 실패 · 시간 초과)가 있을 때만 꺼진 것으로 보고, 사건 화면의 질문 칸 자리에 판정관이 자리에 없다는 안내를 띄운다. 이미 푼 사건의 결과는 그대로 볼 수 있다.
- 확인은 다른 판 세 개에서 동시에 질문을 던져 세 건이 모두 판정되는지로 했다.
배운 점
- 모델 검수는 시험지를 숨겨야 의미가 있다. 공개 질문은 회귀 테스트로 쓰고, 실력은 비공개 질문과 처음 보는 사건으로 잰다.
- 고쳐 달라고 할 때는 틀린 유형만 알려 준다. 원문을 주면 그 문장에만 맞춘 답이 돌아와도 알아챌 방법이 없다.
- 한 곳을 고치면 다른 곳이 틀린다. 버전마다 전체를 다시 돌려야 한다.
- 모델이 판단할 필요가 없는 입력은 모델 앞에서 거른다. 거른 만큼 틀릴 일도 줄어든다.
- LLM을 게임 판정에 쓸 때는 정확도만큼 바쁠 때와 꺼졌을 때를 어떻게 보여 줄지가 중요하다.