GM 오락실
← 프로젝트 회고 · Backend
RETROSPECTIVE · 회고

예/아니오 추리 게임의 LLM 판정기 검수: 공개 시험지만 보면 속는다

Backend

사건 수첩은 플레이어가 예/아니오로 답할 수 있는 질문을 던지며 사건의 진상을 맞히는 추리 게임이다. 질문 판정과 마지막 정답 채점은 LLM이 한다. 모델은 사건의 진상과 판정 메모를 보고 질문마다 예 · 아니오 · 상관없음 같은 판정을 내린다. 핵심을 짚은 질문에는 큰 도장을 찍어 준다.

직접 돌리는 로컬 모델을 판정 맨 앞에 두고, 실패하면 외부 API 모델로 넘기게 붙였다. 붙이는 건 금방이었고, 오래 걸린 건 이 모델을 믿어도 되는지 확인하는 일이었다.

검수 스크립트

사건마다 질문과 기대 판정 목록을 만들어 두고 스크립트로 돌린다. 질문은 세 갈래다.

  1. 기대 판정: 보통 질문과 기대하는 답
  2. 함정: 그럴듯하지만 '아니오'여야 하는 질문. 플레이어가 잘못된 가설로 몰리지 않는지 본다.
  3. 핵심: 진상에 닿는 질문으로 '예'여야 한다. 여기서 틀리면 게임이 막힌다.

정답 채점 문제도 따로 두고, 응답 시간 · 오류 · JSON 깨짐까지 리포트로 남겼다. 같은 스크립트를 외부 모델에도 돌려 기준선으로 썼다.

버전마다 다른 데서 틀렸다

버전결과
v1기대 판정 73/74. 큰 도장을 거의 안 찍었고, '~하지 않았다' 같은 부정 사실을 무시해 3개를 틀렸다.
v2도장은 고쳐졌지만 부정 의문문 · 가정 질문에서 흔들리고 '상관없음'을 남발해 7개가 새로 틀렸다.
v3다시 73/74. 함정 · 핵심은 전부 맞았다.
v4공개 검수 전부 통과.

공개 시험지는 외워질 수 있다

v3과 v4가 공개 검수를 거의 다 맞혔지만 그대로 믿기 어려웠다. 모델을 돌리는 쪽은 요청 로그로 우리가 던진 질문을 전부 볼 수 있고, 다음 버전은 그 질문을 맞히도록 고쳐질 수 있다. 시험지를 보고 공부한 학생의 점수는 실력이 아니다.

그래서 버전마다 새로 쓰는 비공개 질문을 만들었다. 저장소에는 올리지 않는 폴더에 두고, 모델 쪽에는 틀린 질문 원문 대신 '어떤 유형을 틀렸는지'만 알려 줬다.

  1. v3은 비공개 질문 32개 중 31개를 맞혔다. 틀린 하나는 '범인이 변장하지는 않았어?'였다. 틀린 가설을 부정형으로 물으면 판정이 뒤집혔다. 부정 사실을 바로잡으려고 넣은 규칙이 거꾸로 작동한 것으로 보였다.
  2. v4에 이 유형만 전달하고, 같은 유형을 새로 쓴 질문 6개를 포함한 다음 비공개 세트 24개를 전부 맞혔다.
  3. 마지막으로 판정 메모 없이 처음 보는 사건 두 개를 새로 써서 돌렸다. 기대 판정 36개, 함정, 핵심, 채점까지 전부 맞았다.

모델에 맡기지 않을 질문

검수를 늘리다 보니 모델이 '누가 범인이야?'에 큰 도장 '예'를 준 일이 있었다. 이 게임에서 '누가', '왜', '어떻게'로 묻는 질문은 예/아니오로 답할 수 없는 질문이라 판정할 대상이 아니다. 이런 질문은 모델에 보내지 않고 서버에서 바로 반려하게 했다. '누가 있었어?'처럼 의문사가 있어도 예/아니오로 답할 수 있는 질문은 통과시키고, 그 경계는 테스트로 묶었다.

느린 것과 꺼지는 것

로컬 모델은 동시에 두 건이 들어오면 바쁘다(429)며 거절했다. 사실상 한 번에 한 건이다. 검수 중에는 1분 안쪽으로 꺼져 있던(503) 때도 있었다. 처음에는 실패하면 외부 모델로 넘겼고, 나중에 판정과 채점을 로컬 모델 하나로 모으면서 처리 방식을 바꿨다.

  1. 서버가 로컬 모델 호출을 한 줄로 세운다. 기다리는 요청이 너무 많으면 그때 '바쁨'으로 돌려보낸다.
  2. 429가 오면 0.8 · 1.6 · 2.4 · 3.2초 쉬었다가 다시 보낸다.
  3. '바쁨'과 '꺼짐'을 나눈다. 최근 1분 안에 429가 아닌 실패(꺼짐 · 연결 실패 · 시간 초과)가 있을 때만 꺼진 것으로 보고, 사건 화면의 질문 칸 자리에 판정관이 자리에 없다는 안내를 띄운다. 이미 푼 사건의 결과는 그대로 볼 수 있다.
  4. 확인은 다른 판 세 개에서 동시에 질문을 던져 세 건이 모두 판정되는지로 했다.

배운 점

  1. 모델 검수는 시험지를 숨겨야 의미가 있다. 공개 질문은 회귀 테스트로 쓰고, 실력은 비공개 질문과 처음 보는 사건으로 잰다.
  2. 고쳐 달라고 할 때는 틀린 유형만 알려 준다. 원문을 주면 그 문장에만 맞춘 답이 돌아와도 알아챌 방법이 없다.
  3. 한 곳을 고치면 다른 곳이 틀린다. 버전마다 전체를 다시 돌려야 한다.
  4. 모델이 판단할 필요가 없는 입력은 모델 앞에서 거른다. 거른 만큼 틀릴 일도 줄어든다.
  5. LLM을 게임 판정에 쓸 때는 정확도만큼 바쁠 때와 꺼졌을 때를 어떻게 보여 줄지가 중요하다.
Gunmo Lee
since 2021.07
예/아니오 추리 게임의 LLM 판정기 검수: 공개 시험지만 보면 속는다 | GM 오락실