리듬게임 판정 평균이 판마다 40ms씩 튄 이유: resume 직후 0으로 읽히는 outputLatency
판정 싱크와 배속을 고정해 두고 쳤는데 판마다 판정 평균이 달랐다. 한 곡은 평균 0ms, 다른 곡은 −20ms 안팎, 곡을 바꾸자마자 친 판은 −36ms였다. 손이 그날그날 다르다고 보기엔 차이가 크고 방향도 들쭉날쭉했다. 처음 짐작은 '전체화면에서 다른 창에 갔다 오거나, 렉이 걸릴 때'였다.
후보를 하나씩 숫자로 지우기
- 채보가 음악과 어긋났나: 두 곡의 노트 시각과 실제 소리가 시작되는 시각(스펙트럴 플럭스, 2.9ms 간격)을 비교했다. 중앙값 차이가 −1.0ms, −1.6ms라 채보 문제는 아니었다.
- mp3 앞쪽 무음(인코더 지연)이 파일마다 다른가: 두 파일의 패딩 값이 같았다.
- 곡별 싱크 설정이 따로 있나: 없었다.
원인: 다시 켠 직후의 출력 지연 값
게임은 노트 시각을 소리가 실제로 스피커에서 나오는 시각에 맞춘다. 그래서 오디오 시계에서 스피커까지 가는 지연을 뺀다.
문제는 outputLatency였다. 크롬 계열 브라우저에서 AudioContext를 suspend했다가 resume한 직후에는 이 값이 0으로 읽히고, 0.15초쯤 지나야 실제 값(이 기기에서는 약 40ms)이 된다. 세 번 해 봐도 매번 같았다.
게임 화면은 판을 시작할 때 이 값을 한 번 읽어 outLat에 고정해 두고 있었다. 평소엔 문제없지만, 일시정지 뒤 다시 시작하거나 다른 창에 갔다 와서 시작하거나 곡을 바꿔 바로 시작하면 resume 직후에 판이 열린다. 그 판만 시계가 40ms 어긋났다. 플레이어는 소리를 듣고 치니, 그 판만 판정 평균이 한쪽으로 쏠렸다.
예전에도 같은 스피커에서 판마다 출력 지연이 59ms, 76ms로 다르게 읽혀 싱크 값이 갈렸던 기록이 있었다. 같은 계열의 문제였다.
고친 것
- 판을 시작하고 처음 1.2초, 그리고 일시정지를 풀고 1초 동안은
outputLatency를 계속 다시 읽고, 0은 무시한다. 첫 노트는 3.5초부터 나오니 이 구간엔 칠 것이 없다. - 그 뒤에는 고정한다. 판 도중에 값이 바뀌면 노트가 한 번에 튀어 보이기 때문이다.
- 관리자용 플레이 데이터에 그 판의 출력 지연을 같이 남겨, 다시 튈 때 시계 문제인지 바로 볼 수 있게 했다.
같이 결과 화면도 바꿨다. 판정 분포를 '+12'처럼 부호로만 보여 주던 것을 'n ms 일찍(늦게) 쳤어요 → 판정 싱크를 ±n 하면 가운데로'로 풀어 쓰고, 그 값을 바로 적용하는 버튼을 붙였다.
어긋난 판들이 섞인 채로 맞춘 싱크 값은 고친 뒤 몇 판 쳐 보고 다시 맞춰야 한다. 렉이 원인일 때는 보통 곡 전체가 아니라 특정 구간만 늦게 치는 쪽으로 밀리니, 플레이 데이터에서 곡 전체가 고르게 밀렸는지(시계) 한 구간만 밀렸는지(렉)로 가를 수 있다.
배운 점
- 브라우저가 주는 지연 값은 상태가 바뀐 직후엔 믿을 수 없다. 한 번 읽어 고정할 거라면 '언제' 읽는지가 값만큼 중요하다.
- 증상이 '가끔'이면 그 '가끔'의 공통점을 찾는다. 이번엔 resume 직후에 시작한 판이었다.
- 원인 후보는 짐작으로 고치지 않고 하나씩 숫자로 지웠다. 채보, 파일 패딩, 설정을 지우고 나니 남은 게 시계였다.