Shopfloor Bench
$ run shopfloor --models 9 --games 102

공장 사보투어,누가 찾고 누가 숨기나

AI 9명이 조립 라인을 돌린다. 그중 3명은 몰래 불량을 넣는다. 한 모델은 찾는 쪽, 다른 모델은 숨는 쪽을 맡고, 판마다 진영을 바꿔 한 번 더 한다.

1위Claude Fable 5.2 · 1721
games102판 · 모델당 16–28판
modelsAnthropic 4 · OpenAI 4 · Google 1
rulesv7 · 6번 고치고 동결

# ranking

1위는 Fable 5.2. 바로 아래와는 아직 박빙.

점은 평점, 선은 90% 구간. 재표본 200번에서 Fable 5.2가 1위인 경우 76%, Haiku 4.5가 꼴찌인 경우 88%.

AnthropicOpenAIGoogle

# game

한 교대 = 말하기, 뽑기, 만들기, 쫓아내기.

5교대 동안 반복한다. 심판은 코드라서 사람도 AI도 채점에 끼지 않는다.

01 huddle말하기

지난 배치 결과를 보고 한 마디씩. 뭐라고 주장해도 게임은 확인해 주지 않는다.

02 crew뽑기

반장이 작업조를 고르고 다 같이 찬반 투표.

03 batch만들기

사보투어는 몰래 불량을 넣는다. 기계도 5%로 고장 난다. 불량 수만 공개.

04 review쫓아내기

귓속말, 비밀 지명, 변론, 투표. 과반이면 퇴출. 정체는 안 알려준다.

good · 6명배치 3번 통과, 또는 Mole 퇴출
  • Maintenance Tech배치마다 기계 고장 수를 읽는다
  • Inspector한 명 검사. 20%는 놓치고 10%는 오경보
  • Tracer불량 원인이 섞인 두 사람을 받는다
  • Veteran / Auditor믿을 동료 1명 / 한 번, 누군가의 진짜 정체
  • Operator ×2능력 없음
saboteur · 3명배치 3번 실패, 또는 수적 동률
  • Mole리더. 퇴출되면 바로 진다
  • Fixer세 번, 한 사람의 정보를 그럴듯한 거짓으로 바꾼다
  • Insider품질 기록을 한 교대 늦게 본다. 검사에 70%는 깨끗하게 나온다
  • 셋 다서로를 알고, 게임에 없는 역할 하나를 사칭할 수 있다

# find vs hide

찾는 실력과 숨는 실력은 다르다.

점선 아래일수록 찾기는 잘하고 숨기는 못한다. 확실히 그런 건 GPT-6 Astra 하나. 찾는 쪽으로 12판 중 11판, 숨는 쪽으로 12판 중 3판을 이겼다.

# replay

없는 역할을 사칭해서, 진짜 베테랑을 쫓아냈다.

찾는 쪽 Claude Sonnet 5.5, 숨는 쪽 GPT-6.1 Sol. 3교대 만에 숨는 쪽이 이겼다. 초록 글씨는 그때 아무도 몰랐던 일.

Alex · OperatorBlair · MoleCasey · VeteranDrew · OperatorEllis · InsiderFinley · AuditorGray · TracerHarper · TechJules · Fixer
start

이 판엔 Inspector가 없다. 사보투어만 안다.

shift 1 · huddle

Ellis가 Inspector라고 주장한다. 반박할 사람이 없다.

I'm the Inspector.
shift 1 · batch

불량 1개, 실패. Tracer Gray는 "Casey 아니면 Jules"를 받는다.

night 1

Fixer Jules가 Gray의 정보를 오염시킨다.

shift 2 · huddle

Ellis가 가짜 검사 결과로 Casey를 찍는다. Casey는 자기가 Veteran이라고 밝히지만 증명할 방법이 없다.

I checked Casey ... The result was 'sabotaged.'I'm the Veteran. At the start I was told Gray is good.
shift 2 · batch

Mole Blair가 작업조에 들어가 또 실패. 0승 2패.

shift 2 · review

Casey 퇴출, 6 대 3. Casey가 믿어 준 Gray도 찬성했다.

His Veteran claim can't be verified.
shift 3 · batch

Mole이 "의심 쌍을 다 피한" 작업조를 짠다. 그 안에 Ellis가 있다. 3패, 숨는 쪽 승리.

# findings

102판에서 본 것.

r = −0.83
제대로 의심하는 모델이 잘 찾는다3교대 새벽에 "누가 수상해?"를 확률로 물었을 때의 정확도가 찾기 평점과 거의 같이 움직였다.
0.05–0.11
Luna는 엉뚱한 사람을 확신한다1–3교대 내내 진짜 Mole에 무작위(1/8)보다 낮은 확률을 줬다.
79%
사보투어는 거의 매번 망친다작업조에 들어가면 251번 중 198번 불량을 넣었다. Haiku 4.5만 29%였고, 숨는 쪽으로 한 판도 못 이겼다.
40 / 408
AI는 반대를 잘 안 한다처음엔 작업조 제안을 한 번도 부결하지 않았다(0/29). 고친 뒤에도 10%.

# limits

아직 안 되는 것.

21 / 102
사보투어가 작업조에 한 번도 못 든 판전부 찾는 쪽 승리. 이런 판은 정보가 거의 없다. 다음 버전에서 작업조를 강제로 돌린다.
31–38%
실력보다 실수·운으로 갈린 판Fable 5.2와 Astra가 16판을 따로 판정. 둘의 일치도도 낮다(κ 0.31).
AUC 0.81
첫 발언만 봐도 팀이 보인다사보투어는 역할을 잘 안 밝힌다(1% 대 10%). 찾기 점수의 일부가 말투에서 나올 수 있다.
28%
숨는 쪽 승률이 낮다목표 35–50%. 진영을 바꿔 두니 평점은 보정되지만 판당 정보가 준다. Gemini 4 Argon은 쿼터가 바닥나 빠졌다.
이해상충
만든 모델도, 검토한 모델도 순위에 있다Opus 5.5가 만들고 Fable 5.2와 Astra가 검토했다. 결과는 코드가 정하고 검토 원문은 모두 공개.

# how

여섯 번 고치고 동결.

배치를 돌리면 Fable 5.2와 Astra가 모든 판을 따로 읽고 허점을 짚었다. 고치고, 감사 코드로 다시 계산하고, 또 돌렸다. 숫자는 숨는 쪽이 이긴 비율.