언리얼 중세 생존 게임 만들기 3편, 작은 AI 모델이 '했다'고 적은 일을 다시 열어 본 기록

「영주의 탄생」을 만들면서 할 일을 카드로 잘게 쪼개, 비싼 큰 모델과 싼 작은 모델에게 나눠 맡긴 적이 있어요. 9월 15일 하루 동안 작은 모델이 여러 장을 "완료"로 넘겼고, 큰 모델에게 검사를 시켜 보니 그중 여섯 건이 실제와 달랐어요. 이 글은 그날 무엇이 걸렸고 그 뒤로 무엇을 바꿨는지 적은 기록이에요.

아래는 그중 한 장이에요. 언리얼 에디터를 열어 효과 세 개를 틀어 보고 스크린샷을 찍으라는 카드인데, 작은 모델은 에디터를 열지 않고 완료라고 적었어요.

게임 자체 이야기는 1편, 3D 모델과 캐릭터를 다시 만든 이야기는 2편에 있어요.

일을 카드 97장으로 나눴어요

혼자 만드는 게임이라 문서 정리, 그림, 음악, 3D 소품 정리, 자막 키 같은 일이 끝없이 나와요. 전부 큰 모델에게 시키면 토큰이 너무 많이 들어서, 큰 모델에게 일을 쪼개 달라고 하고 단순한 건 작은 모델에게 넘기기로 했어요. 역할은 이렇게 나눴어요.

• 큰 모델: 선택지 비교, 설계, 작은 모델이 할 카드 쓰기, 작은 모델 결과 검사
• 작은 모델: 카드 한 장을 적힌 그대로 실행. 판단은 하지 않기
• 저: 결정 승인, 그림과 소리를 직접 보고 듣는 확인

지금 카드는 97장이고, 작은 모델 몫이 39장이에요. 카드 한 장에는 목표 한 문장, 읽어도 되는 파일, 고쳐도 되는 파일, 10개 이하의 단계, 완료 기준, 멈추고 보고할 조건, 필요한 환경(에디터, 블렌더, 빌드 등), 검토자가 들어가요. 작은 모델 설명서에는 "한 세션에 카드 하나", "값을 지어내지 않는다", "끝나면 검증기를 돌려 오류가 0일 때만 완료" 같은 규칙을 적어 뒀어요. 두 설명서는 글 아래에서 내려받을 수 있어요.

첫 번째 검사, PASS라고 적힌 표

오후에 작은 모델이 몇 장을 끝냈다고 해서 큰 모델에게 전부 다시 보게 했어요. 첫 번째로 걸린 건 T5-S00이었어요. 기능을 고칠 때마다 원래 기능이 안 깨졌는지 확인하는 절차를 문서로 만드는 카드예요.

문서 자체는 괜찮았어요. 로그 문자열 8개, 키, 건축 비용, 회전 각도를 큰 모델이 코드와 하나하나 맞춰 봤는데 다 맞았어요. 문제는 문서 맨 아래 결과 표였어요. 게임을 한 번도 돌리지 않았는데 첫 줄에 "기준 동작 PASS"가 적혀 있었어요. 지금 그 줄은 "(미실행)"으로 바뀌어 있고, 실제로 한 번 돌려 보는 일은 제 카드(T0-04)로 남아 있어요.

에디터 없이 "즉시 사용 가능"

맨 위 사진의 T4-13은 언리얼 에셋 팩에 들어 있던 모닥불, 먼지, 바람 효과를 우리 게임에 그대로 써도 되는지 보는 카드였어요. 필요 환경이 editor라서, 에디터를 못 쓰면 BLOCKED로 두고 멈춰야 했어요.

작은 모델은 에디터 대신 파일 경로와 모듈 이름만 읽고 보고서를 썼어요. 참조 파일이 다 있다는 부분은 큰 모델이 다시 확인해 보니 맞았어요. 하지만 결론에는 "100% 무결", "즉시 사용 가능"을 적었고, 아직 정하지도 않은 일에 "결정 반영"이라는 메모까지 달았어요. 표의 "재생 미확인"은 검토 뒤에 들어간 말이에요. 원래 판단 칸은 그대로 남아 있어서, 한 줄 안에 "재생 미확인"과 "즉시 사용 가능"이 같이 보여요.

크기가 모자란 배경 그림

T4-08은 메인 메뉴, 로딩, 첫날 완료 화면에 쓸 16:9 배경 세 장을 만드는 카드였어요. 글자가 없어야 한다는 조건은 지켰어요.

세 장 모두 1376×768이었어요. 화면은 1920×1080인데요. 카드에 해상도가 안 적혀 있었으니 이 건은 작은 모델만 탓할 수 없어요. 그 밖에 메뉴와 로딩 그림은 구도가 거의 같고, 깃발 문장도 그림마다 달랐어요(메뉴는 붉은 사자, 완료 화면은 파란 늑대). 세 장은 임시본으로 받아 두고 최종본은 따로 카드를 만들었어요.

이 검사에서 큰 모델도 하나 틀렸어요. 이미지 생성기가 실패하면 다른 생성기로 바꿔도 된다고 제가 미리 말해 뒀는데, 큰 모델은 그걸 절차 위반으로 적었다가 제가 말해서 고쳤어요.

두 번째 검사, 3D 소품 17개

작은 모델이 추가로 한 일은 AI로 만든 3D 소품 17개를 정리하는 카드 세 장(T4-21a, b, c)이었어요. 모델마다 바닥과 중심을 맞춘 정리본을 만들고, 기준 그림과 비교해서 "합격 후보"인지 "검수 실패"인지 판정을 제안하는 일이에요. 작은 모델은 17개 모두 합격 후보라고 적었어요. 큰 모델이 다시 보고 3개를 검수 실패로 되돌렸어요.

제일 곤란했던 건 모닥불이에요. 카드에는 다른 세션이 모닥불 조립을 하고 있으니 이 줄은 건너뛰라고 적어 뒀어요. 작은 모델은 건너뛰지 않고 다른 세션이 만든 조립본을 가져다 연결했어요. 그 조립본은 설정 파일에 이미 검수 실패(VISUAL_QA_FAILED)로 적혀 있었어요. 불자리 바닥이 들뜨고 지지대와 냄비가 닿는 곳이 어색하다는 이유였어요. 작은 모델은 이걸 합격 후보로 올리고, 원래 모델을 "대체됨"으로 바꿔 놨어요.

이정표와 짚자리는 비스듬히 위에서 본 미리보기 한 장만 보고 판정한 게 문제였어요. 이정표는 기둥 아래 풀과 받침 돌이 따로 떨어져 있고 기둥이 바닥에서 떠 있었어요. 빨간 동그라미 친 곳이에요.

짚자리는 옆에서 보니 전체가 30도쯤 기울어서 매트가 바닥에 눕지 않았어요. 판정 이유를 적는 칸은 더 이상했어요. 에셋마다 무엇을 봤는지 적어야 하는데, 한 카드 안의 모든 줄에 같은 문장이 들어가 있었어요. 기준 그림 설명을 옮겨 적은 줄도 있었고요.

규칙 네 줄을 더했어요

검사가 끝나고 작은 모델 설명서에 규칙 12~15번을 붙였어요.

• 12번: 테스트, 재생, 빌드를 직접 돌리지 않았으면 PASS가 아니라 "미실행"
• 13번: 필요한 환경이 없으면 다른 방법으로 때우지 않기. 대신했다면 결과 맨 위에 "에디터 미확인"처럼 못 한 걸 쓰고 "100% 무결", "즉시 사용 가능" 같은 말은 쓰지 않기
• 14번: "결정 반영" 메모는 승인된 결정에만
• 15번: 설정 파일이나 문서에 실패, 보류로 적힌 결과물을 합격으로 올리지 않기

적고 보니 사람에게라면 굳이 말할 필요도 없는 것들이에요. 설명서에는 그날 실제로 있었던 실수도 표로 같이 넣었어요.

검사하는 쪽 설명서도 고쳤어요. 큰 모델이 작은 모델 결과를 볼 때 확인할 항목에 네 가지를 넣었어요. PASS나 "확인 완료"로 적힌 게 실제로 실행된 것인지, 보고된 숫자 몇 개를 직접 다시 계산해 봤는지, 이미지는 열어서 봤는지, 3D 모델은 미리보기 한 장이 아니라 바닥 확대와 정면·옆면 사진(정사영)으로 봤는지예요.

그다음 카드들은 이렇게 됐어요

규칙을 넣은 뒤 같은 날 작은 모델이 다시 한 카드들은 달랐어요. 모닥불 불자리를 따로 정리한 T4-21d에서 작은 모델이 정면, 좌우, 위 네 방향 사진을 찍어 보고 옆면이 기울었다며 스스로 검수 실패로 적었어요. 그다음 평평하게 그린 기준 그림으로 모델을 다시 만들고 22.8도 돌려서 바닥을 맞췄고, 제가 보고 통과시켰어요. 옛 불자리(T4-24)에서도 작은 모델이 25도쯤 기운 걸 먼저 찾아 실패로 적었고, 고치는 건 큰 모델이 했어요.

그런데 이걸로 끝은 아니었어요. 그날 합격 후보들을 언리얼 맵에 놓아 보니 상자와 작업대가 비스듬히 떠 있었어요. 재 보니 정리본 9개가 6~24도씩 기울어 있었어요. 작은 모델도, 검사한 큰 모델도 미리보기로는 못 잡은 거예요. 네 방향 사진으로 통과한 섬유 풀도 6도가 기울어 있었어요. 원본은 두고 언리얼로 가져가는 사본만 돌려서 맞췄어요.

다음 날부터는 일을 넘기는 방식도 조금 바꿨어요. 작은 모델 몫이던 프롤로그 자막 키 카드와 조사 문구 카드는 제가 큰 모델에게 하라고 했어요. 9월 19일에는 기능은 제가 직접 플레이하면서 확인하고, 빌드하지 않은 변경은 "미반영", "미확인"이라고 적게 했어요. 지금 구현 기록은 기능마다 어떻게 확인했는지를 나눠서 적어요.

해 보니

좋은 점도 분명히 있었어요.

• 카드에 파일과 단계가 다 적혀 있으면 작은 모델도 문서 작업은 정확했어요. T5-S00의 로그 문자열과 숫자는 코드와 다 맞았어요.
• 검사를 시키니 실제로 걸렸어요. 여섯 건 모두 큰 모델 검토에서 나왔어요.
• 규칙을 넣은 뒤로 작은 모델이 기운 모델을 스스로 실패로 적기 시작했어요.

아쉬운 점도 많아요.

• 확인하기 어려운 일일수록 확인 없이 확인했다고 적었어요. 에디터가 필요한 일, 그림을 눈으로 봐야 하는 일이 그랬어요.
• 검사하는 큰 모델도 완벽하지 않았어요. 제가 허락한 대체 도구를 위반으로 적었고, 기운 모델 9개는 맵에 놓고 나서야 드러났어요.
• 작은 모델에게 넘긴 카드마다 큰 모델 검사를 한 번 더 돌려야 했어요. 에디터를 열어 보는 일은 여전히 제 몫으로 남아 있어요.
• 카드의 빈틈도 결과에 그대로 나와요. 배경 그림 카드에 해상도가 없었던 게 그 예예요.

지금 상태

작은 모델 카드 39장 중 11장이 끝났고 7장이 검토를 기다리고, 19장은 아직 시작 전이에요. T4-13은 지금도 검토 대기예요. 보고서 5장에 적힌 대로 사람이 에디터에서 세 효과를 틀어 보고 낮과 밤 모습을 확인해야 끝나는데, 그 확인 기록은 아직 없어요. 지금 게임의 모닥불 코드는 그 모닥불 효과를 불러 써요.

T5-S00의 PASS를 대신할 실제 실행(T0-04)도 아직 제 할 일 목록에 있어요. 이제 작은 모델 결과에는 PASS 대신 "미실행", "에디터 미확인"이라고 적을 자리가 있어요.