•AI Quality & Governance Platform
GAME DEV
HARNESS
AI 품질 및 거버넌스 인프라
라이브 서비스 게임 운영 경험에서 출발해, AI 결과를 평가·검토·추적할 수 있는 운영 품질 관리 체계를 탐구한 케이스 스터디.
Accuracy
94.34%
Precision
92.31%
Recall
96.00%
F1 Score
94.12%
Tier 1 Decision Benchmark (2026-05-31) 기준 측정값.
•문제
Reasoning Decay —
의사결정 맥락의 소멸
라이브 서비스 게임 스튜디오에서는 밸런스 조정, 경제 설계, 인시던트 대응에 이르기까지 수많은 결정이 매일 이루어집니다. 버전 컨트롤(Git)은 무엇이 변했는지 정확하게 기록하지만, 왜 그 변경이 옳다고 판단했는지에 대한 이유는 Jira 티켓, Discord 스레드, 녹화되지 않은 회의 속에 흩어져 있다가 팀이 다음 작업으로 이동하면서 사라집니다.
예를 들어, 특정 무기의 데미지를 15% 감소시킨 결정은 플레이어 이탈률 급등에서 시작해 디자이너들의 토론을 거쳐 리드의 승인으로 마무리되었을 수 있습니다. 하지만 6개월 후, 담당 엔지니어가 팀을 떠나고 텔레메트리 환경이 바뀌었을 때, 그 15%가 왜 옳다고 믿었는지를 즉시 파악할 방법은 없습니다. 이것이 Reasoning Decay입니다.
- — 기관 기억 손실 (Institutional Memory Loss) — 핵심 인원이 팀을 떠날 때 중요 시스템의 설계 근거가 회수되지 않음.
- — 순환 회귀 (Circular Regressions) — 이전 수정의 이유를 알 수 없어 과거의 실수가 반복될 수 있음.
- — 트리아지 비효율 (Triage Inefficiency) — 라이브 인시던트 중 최근 변경 맥락을 즉시 파악하기 어려움.
- — 직군 간 이해 불일치 (Cross-Discipline Divergence) — 디자인, 엔지니어링, QA가 기능 의도를 다르게 해석해 구현 편차 발생.
•접근 방식
Provenance Engine
시스템은 개발자의 기존 워크플로우를 변경하지 않고, 티켓 논의에서 결정 신호를 수동으로 탐지해 검증 가능한 정규 기록으로 변환합니다.
Pipeline
Artifact
Jira/Linear 티켓 수집. 개발자가 별도로 문서를 작성하지 않아도 기존 티켓에서 수동 ingestion.
Signal Detection
규칙 기반 프리필터 + LLM 분류. rationale, alternative_framing, incident_pressure 등 결정 신호를 포함한 아티팩트를 식별.
AI Proposal
탐지된 신호를 후보(Candidate)로 제안. 이 시점에서는 아직 정규 기록이 아니며, 인간 검토를 기다리는 상태.
Human Review
리드 디자이너 또는 프로듀서가 후보를 확인하거나 거부. AI 해석의 자율적 정규화를 방지하는 필수 관문.
Canonical Record
확인된 결정을 추가 전용(append-only) 로그에 기록. 소스 인용(Extraction Span)과 함께 저장되어 감사 추적을 지원.
Passive Ingestion & Signal Detection
개발자가 별도 문서를 작성하지 않아도 기존 티켓 논의에서 자동으로 신호를 탐지합니다.
Human-in-the-Loop Confirmation
AI가 탐지한 후보는 반드시 사람이 확인해야 정규 레이어에 진입합니다. 해석 위험 완화를 위한 필수 관문입니다.
Deep Semantic Extraction
확인된 결정에서 근거, 트리거 유형, 영향 받은 시스템, 검토된 대안을 구조화합니다.
Temporal Reconstruction & Lineage
추가 전용 로그로 "이 인시던트 이전에 무엇을 믿었는가?"를 시간 기반으로 조회할 수 있습니다.
•평가 근거
Evaluation Framework
신호 탐지 성능은 Tier 1 Decision Benchmark를 통해 측정되었습니다. 배경 노이즈(일상 작업)와 신호(의사결정)를 구분하는 능력을 평가합니다.
| 지표 | 결과 | 해석 |
|---|---|---|
| Accuracy | 94.34% | 전체 신호 탐지 정확도 |
| Precision | 92.31% | 낮은 오탐율 — 리뷰어 피로 방지에 기여 |
| Recall | 96.00% | 낮은 누락율 — 주요 결정 포착을 지원 |
| F1 Score | 94.12% | 정밀도·재현율 균형 |
이 수치는 Tier 1 Decision Benchmark 기준의 제한적 관찰값이며, 실제 운영 환경의 성능을 보장하지 않습니다.
Signal Detection Benchmark
50개 이상의 테스트 케이스. 자동화된 벤치마크 러너로 신호/비신호 분류 측정.
Regression Testing
모델 버전 v1.0 대비 v1.1 성능 비교. 모델 교체 시 성능 저하 여부 검증.
Governance Verification
라이프사이클 및 에피스테믹 상태 머신의 전환 규칙 단위 테스트.
Scenario Validation
5개 대표 시나리오의 ingestion-to-canonization 전체 파이프라인 실행.
•거버넌스
AI Integrity Model
AI가 생성한 콘텐츠의 감사 가능성과 투명성을 지원하기 위해 다층적 거버넌스 모델을 구현합니다.
Multi-Dimensional Confidence Model
Signal Confidence — AI 탐지 패스. 결정 발생 증거의 강도를 측정.
Rationale Confidence — 인간 검토자. 추출된 근거의 완전성과 명확성 평가.
Temporal Confidence — AI 추출 패스. 결정 타임스탬프 추정의 정밀도.
Lineage Confidence — 인간/AI 혼합. 결정 간 관계의 신뢰도.
Resolution Confidence — AI 매칭. 아티팩트와 특정 이벤트 매핑의 확실성.
Extraction Spans
AI가 생성한 모든 해석은 소스 아티팩트의 특정 인용문(verbatim quote)으로 뒷받침됩니다. 검토자는 어떤 Jira 코멘트에서 해당 근거가 추출되었는지 확인할 수 있어 해석 위험 완화를 지원합니다.
Lifecycle State Machine
RAW → DRAFT → REVIEWED → CANONICAL
인간 검토 이전에는 정규 레이어 진입 불가. 에피스테믹 상태(ACTIVE → CONTESTED → SUPERSEDED)로 지식의 진화를 반영합니다.
Model & Prompt Traceability
모든 AI 평가에 model_version과 prompt_hash를 기록합니다. AI 모델이 변경될 때 성능 변화를 추적하고, 동일 조건에서의 재현성 검증을 지원합니다. 평가 데이터셋 추적(dataset hash)은 로드맵 항목입니다.
•운영 시나리오
Representative Scenarios
5개의 대표 스튜디오 시나리오를 통해 관찰된 잠재적 운영 유틸리티입니다. 이 시나리오들은 실제 운영 환경이 아닌 대표 케이스 기반으로 실행되었습니다.
크리티컬 익스플로잇 대응
아이템 복제 버그로 인한 긴급 거래 비활성화 결정과 제재 범위 선택의 근거를 포착합니다. 지원팀이 "왜 거래가 막혀있는가?"에 대한 직접 참조 가능성을 탐구합니다.
긴급 서버 롤백
패치 후 데이터 손상 시나리오에서 수술적 수정 vs. 6시간 롤백 간의 트레이드오프 근거를 구조화합니다. 인프라 변경에 대한 감사 추적을 지원합니다.
이벤트 경제 보정
이벤트 보상 오설정으로 인한 임시 보상 감소 결정의 stated rationale을 보존합니다. 향후 이벤트에서 유사한 설계 오류(faucet drift) 방지를 위한 맥락 제공 가능성을 탐구합니다.
커뮤니티 에스컬레이션
스킨이 경쟁 우위를 제공한다는 커뮤니티 문제 제기에 대응한 외형 에셋 수정의 검사 가능한 기술적 근거를 기록합니다. 수정 이유를 공유 가능한 투명성을 지원합니다.
메타 리밸런싱
승률 70%인 영웅에 대한 밸런스 조정 과정에서 게임플레이 정체성 보존 의도를 기록합니다. Git 커밋이 "Ultimate Cost +25%"만 보여줄 때, 그 결정의 맥락을 추적 가능하게 하는 인프라를 탐구합니다.
•한계 및 제약
Limitations
이 프로젝트의 현재 한계와 알려진 위험을 명시합니다. 한계는 숨기지 않습니다.
기술적 한계
- — 소스 의존성 — Jira/Linear 기반으로만 작동. 구두로 이루어진 결정은 기록이 없으면 탐지 불가.
- — 임계값 보정 — SURFACE_THRESHOLD(0.70)는 정적 휴리스틱. 스튜디오 문화에 따라 재보정이 필요할 수 있음.
- — 추출 할루시네이션 — 소스 논의가 단편적이거나 모순될 경우 LLM이 근거를 오귀인할 수 있음. 인간 검토 필수.
- — 의미론적 병합 — 중복 감지(유사도 > 0.85)는 보수적. 복수 소스 연결은 수동 처리 필요.
운영 리스크
- — Review Queue Fatigue — 임계값이 잘못 보정되면 낮은 품질의 후보가 확인 큐에 쌓여 정규 레이어가 진부화될 수 있음.
- — False Authority 리스크 — 정규 레코드가 객관적 진실이 아닌 당시 믿었던 것의 시점별 기록임을 팀 구성원이 인지해야 함.
평가 범위 한계
벤치마크는 합성 픽스처 기반입니다. 시나리오 기반 유틸리티 관찰은 대표적인 5개 케이스에 한정됩니다. 실제 스튜디오 운영 환경에서의 배포 및 검증은 이루어지지 않았습니다. 검토자 신원 관리 및 인증 시스템은 로드맵 단계입니다. 실제 운영 환경 검증은 향후 과제입니다.
•왜 중요한가
Operational Traceability
결정 추적 가능성 (Decision Traceability)
"왜 이 결정을 했는가?"라는 질문에 답하려면, 상태 변화(Git)와 그 변화를 정당화한 논의(Jira/Discord) 사이를 연결해야 합니다. 이 시스템은 그 연결을 append-only 로그와 Extraction Spans 기반의 인용 구조로 지원합니다.
AI 해석 감사 가능성 (AI Interpretation Auditability)
AI가 어떤 근거로 무엇을 판단했는지 추적할 수 없다면, AI를 운영 프로세스에 통합하는 것은 위험합니다. model_version, prompt_hash, Extraction Spans는 AI 해석의 재현성과 감사 가능성을 지원하는 기반을 구성합니다.
운영 연속성 (Operational Continuity)
팀 교체, 담당자 이탈, 서비스 확장 — 이 모든 변화 속에서도 과거 결정의 맥락이 복구 가능해야 합니다. Lifecycle state machine과 Epistemic state가 함께 작동하면서, 지식이 "살아있는 기록"으로 유지되는 인프라를 탐구합니다.
이 프로젝트는 결국 하나의 질문에서 출발했습니다. AI가 개입한 프로세스에서, 나중에 무슨 일이 있었는지 설명할 수 있는가.