Paul Jialiang Wu agentic-portfolio English 中文 Español 日本語✉️ 무료 리스트
← 포트폴리오로 돌아가기

AI-네이티브 시리즈 · ANDON · 에이전트형 PR 리뷰와 CI/CD · 5부 중 3화

데이터로서의 PR 리뷰 규칙: 어긋날 수 없는 규칙

에이전트형 PR 리뷰와 CI/CD, 3화. 1956년 Western Electric은 현장 작업자와 엔지니어가 같은 통제 차트를 같은 방식으로 읽도록 차트 판독 규칙을 발표했다. 대부분의 레포는 리뷰 규칙을 산문으로 보관하는데, 그러면 리뷰어마다 다르게 읽고 AI 리뷰어는 그것을 의역해버린다. 이번 화는 ANDON의 D에 해당한다. 이 글은 한 레포의 PR 리뷰 규칙을 세 개의 데이터 파일로 옮기고, 그로부터 사람이 읽는 페이지를 렌더링하며, 모든 PR에서 CI로 실행되어 페이지와 데이터가 어긋나는 순간 실패하는 체크를 추가한다. 2026년 9월 9일, 이 체크가 배포된 지 사흘 후, 나는 그것을 일부러 빨갛게 만들었다.

글쓴이 Paul Jialiang Wu · futuremake.io · 2026-09-09 · 5부 중 3화

Cover: white ground with a black left rail. Eyebrow ANDON · AGENTIC PR REVIEW & CI/CD · EPISODE 3 OF 5 · DATA, NOT PROSE above the two-line serif title PR Review Rules as Data: the Rule That Cannot Drift, two grey lines: Western Electric wrote the rules down in 1956 so everyone read the chart the same way. A review rule that lives in prose stops being true; one that lives in a file can be checked. Three grey cards: WHAT IT IS, the D in ANDON, built, three files, one renderer, one check; WHO IT IS FOR, anyone with a contributing guide, engineers, founders, the curious student; WHAT YOU LEAVE WITH, a rules-as-data contract, source, render, check, plus the 5 Whys. A black band: THE ONE FINDING · ONE REPOSITORY · 2026-09-09 — 29 rules in one file, docs table rendered from it, one hand-edited id turned the check red. Prose can be wrong for a year and nobody knows. A file can be wrong for one commit.
하나의 발견, 그 범위와 함께: 레포 하나, 하루, 손 편집 한 번.

1분 요약 — 얻어갈 수 있는 것

이것은 무엇인가. ANDONANDON 5부작 중 3화이며, 에이전트형 PR 리뷰와 CI/CD를 다룬다. 이번 화는 규칙 산문이 아니라 데이터로, 실제 레포에 구현한 방식은 데이터로서의 PR 리뷰 규칙이다: 머지 규칙, 크기 임계값과 응답 정책이 각각 하나의 JSON 파일에 담겨 있고, 리뷰어와 게이트, 사람이 보는 문서 페이지가 모두 그 파일들을 읽어들이며, CI 체크가 데이터로부터 문서 표를 다시 렌더링해 페이지가 어긋나 있으면 실패한다.

왜 중요한가. 엔지니어에게: 산문으로 된 규칙은 그것을 기억하는 사람이 있을 때만 지켜지는데, 에이전트 시대의 레포에서는 그런 사람이 점점 아무도 없어지고, 모델은 그것을 비슷하지만 다른 것으로 바꿔 말한다. 창업자에게: 2026년 정책 조사에 따르면 상위 레포 대부분이 이제 AI 기여를 허용하고 약 절반이 공개를 요구하는데, 내가 읽어본 바로 그 정책들은 산문이며, 사람만 해석할 수 있는 정책은 홍수 앞에서 확장되지 않는다. 학생에게: 이것은 Western Electric이 1956년에, Shewhart가 1931년에 했던 것과 같은 동작을, 기여 가이드에 적용한 것이다.

읽고 나서 할 수 있는 일. 모든 리뷰 규칙, 임계값, 예외 사항을 id, 레벨, 이를 강제하는 게이트, 그리고 서면 이유가 담긴 데이터 파일에 넣는다. 사람이 보는 페이지는 그 파일로부터 렌더링하고 절대 직접 타이핑하지 않는다. 다시 렌더링해서 비교하는 체크를 추가한 다음, 직접 손으로 한 번 깨뜨려서 빨간불이 되는 것을 눈으로 확인한다.

ANDON — 시리즈 줄기
  1. A · Assess — PR 홍수는 측정되는 것이지 느껴지는 것이 아니다 1화
  2. N · 침묵하지 않음 — 저장소를 위한 지도카 2화
  3. D · Data, not prose — 어긋날 수 없는 규칙 이번 화
  4. O · 경계선 내부에서만 — 영향 범위는 경로 목록으로 정한다 4화
  5. N · 네거티브 테스트 — 게이트는 반드시 실패(레드)를 경험한 뒤에만 설치된다 5화

이번 화가 다루는 것, 그리고 데이터로서의 PR 리뷰 규칙이 세 번째로 오는 이유

1화는 홍수를 측정하고 머신 게이트를 맨 앞에 두었다. 2화는 모든 게이트에 세 번째 상태를 부여해서 "실행할 수 없었음"이 침묵 대신 게시되게 했다. 두 화 모두 이번 화가 증명해야 할 것을 전제로 삼고 있었다: 게이트가 강제하는 규칙과 사람들이 강제되고 있다고 생각하는 규칙이 같다는 전제다. 대부분의 레포에서 이 전제는 조용히 거짓이다. 규칙은 기여 가이드, 풀 리퀘스트 템플릿, 위키 페이지, 그리고 몇몇 리뷰어의 습관 속에 흩어져 살고 있고, CI 설정은 그중 일부만을, 가이드 어디에도 나오지 않는 숫자들로 강제하며, AI 리뷰어가 있다면 그것은 가이드를 기억으로 바꿔 말한 프롬프트를 받는다. 독자 셋에, 규칙집도 셋이다.

에이전트 시대는 이것을 그저 지저분하게 만드는 데 그치지 않고 비용을 발생시킨다. GitHub 상위 2천 개 레포의 AI 기여 정책 281건을 조사한 2026년 조사에 따르면 83.3퍼센트가 AI 사용을 허용하고, 48.8퍼센트가 공개를 요구하며, 14.9퍼센트가 금지한다 [1]. 이 조사와 별개로 내가 직접 관찰한 바로는, 내가 읽어본 정책들은 PR마다 사람이 해석해야 하는 산문이었다. 에이전트가 작성한 PR 23,247건을 조사한 한 연구는 그중 1.7퍼센트가 PR의 설명과 실제 코드 사이에 심각한 불일치를 보였다는 것을 발견했고, 이 시리즈의 첫 화는 설명이 잘못된 PR도 28퍼센트의 비율로 여전히 머지된다는 사실을 이미 기록해두었다 [2]. 설명이 틀릴 수 있고 리뷰어가 흔히 봇인 상황에서, 머지를 결정하는 규칙은 한 문단짜리 글일 수 없다.

그래서 이번 에피소드의 규칙은 이렇다: 규칙이 먼저 데이터이고, 산문은 그 데이터로부터 렌더링된다. 이번 사례는 1편과 2편과 같은 레포지토리로, 29개의 리뷰 규칙과 4개의 크기 임계값, 그리고 응답 정책이 이제 세 개의 파일에 담겨 있다. 드리프트 체크가 배포되고 사흘 뒤, 나는 규칙 id 하나를 손으로 수정해서 체크가 실제로 빨간불이 되는지 증명했다. 로컬 실행에서 실제로 그렇게 되었고, 그때 나온 exit 코드도 함께 기록해 두었다.

규칙의 가장 오래된 버전: 두 사람이 같은 방식으로 읽도록 적어두기

300년에 걸친 기록은 판단을 사람의 머릿속에서 두 사람이 합의할 수 있는 대상으로 옮겨온 기록이다. Roser가 재구성한 바에 따르면, 1785년 7월 8일 Vincennes에서 있었던 Honoré Blanc의 시연은 이러했다. "he disassembled 50 locks, picked pieces for 25 locks at random, and … assembled them again"(번역: 그는 자물쇠 50개를 분해한 뒤, 25개 자물쇠 분량의 부품을 무작위로 골라 … 다시 조립했다) [3]: 상호 교환 가능성은 누구나 반복할 수 있는 실험으로 증명된 것이지, 주장으로 증명된 것이 아니었다. Bomford의 1821년 병기창 지침서는 다음을 요구했다. "two plugs for the bore diameter, with one to pass through the barrel and the other not to enter"(번역: 총열 구경에 맞는 플러그 두 개를 사용하되, 하나는 총열을 통과해야 하고 다른 하나는 들어가서는 안 된다) [4]: 이것은 물리적 사물 한 쌍으로 이루어진 규칙이며, 합격 여부에는 어떠한 의견도 개입되지 않는다. Joseph Whitworth의 표준은 한계값보다 먼저 등장했다. 그의 와이어 게이지에 대한 Science Museum의 기록은 다음과 같이 전한다. "The concept of tolerance or specification by limits of acceptability had not at that time been established."(번역: 허용 한계에 의한 공차 또는 명세라는 개념은 당시에는 아직 확립되어 있지 않았다) [5] 표준은 올바른 값이 무엇인지를 말해준다. 한계값은 그 값이 틀렸을 때 무엇을 할지를 말해준다. 게이트에는 한계값이 필요하다.

이후 한 세기가 그 위에서 돌아가게 될 정의를 내놓은 사람은 Shewhart였다. 1931년 그는 이렇게 썼다. "A phenomenon will be said to be controlled when through the use of past experience, we can predict, at least within limits, how the phenomenon may be expected to vary"(번역: 어떤 현상이 통제되고 있다고 말할 수 있는 것은, 과거의 경험을 이용하여 그 현상이 얼마나 변동할 것으로 예상되는지를 적어도 일정한 한계 내에서 예측할 수 있을 때이다) [6]. 통제란 문서화된 한계 내에서의 예측이다. 그리고 Western Electric의 1956년 핸드북은 그의 관리도를 읽는 결정 규칙을 문서로 남겼다. 그 명시된 이유는 2차 자료에 한 문장으로 남아 있다. "Their purpose was to ensure that line workers and engineers interpret control charts in a uniform way."(번역: 그 목적은 현장 작업자와 엔지니어가 관리도를 동일한 방식으로 해석하도록 보장하는 데 있었다) [7] 그 문장이 곧 이번 에피소드다. 관리도는 이미 존재하고 있었다. 1956년이 더한 것은 규칙집이었고, 그 덕분에 기계 앞에 선 사람과 사무실에 앉은 사람은 그 관리도가 무엇을 말하는지를 두고 더 이상 다투지 않게 되었다.

같은 움직임은 계속해서 반복된다. Juran의 핸드북은 1951년에 처음 출간되었고 [8]; ISO 9001은 1987년, 어느 군사 명세의 후손으로 발표되었으며 [9]; 그리고 2009년에는 카드에 항목으로 적힌 규칙인 수술 안전 체크리스트가 8개 병원, 7,688명의 환자를 대상으로 측정되었다. 사망률은 1.5퍼센트에서 0.8퍼센트로, 합병증은 11퍼센트에서 7퍼센트로 떨어졌다 [10]. 이 가운데 소프트웨어는 하나도 없다. 하지만 모두 같은 주장을 하고 있다: 규칙은 전문성 속에 머물 때보다 인공물 속에 담겨 있을 때 더 나은 성과를 낸다. 인공물은 언제나 같은 방식으로 읽히기 때문이다.

1편에서 나온 주방의 비유는 여전히 유효하다. 요리사 한 명은 레시피를 머릿속에 담아둔다. 레스토랑은 그것을 카드에 적는다. 체인점은 그것을 그램과 도(度) 단위의 명세로 적는데, 왜냐하면 수천 개의 주방이 그것을 똑같은 방식으로 읽어야 하고 그 누구도 즉흥적으로 바꿔서는 안 되기 때문이다. 카드는 레시피의 열등한 형태가 아니다. 그것은 검증할 수 있는 유일한 형태다.

주방레포지토리
명세 카드: 그램, 도, 허용된 유일한 대체재, 그리고 서명 승인세 개의 데이터 파일: id, 레벨, 게이트, 체크가 담긴 규칙 파일; 임계값 파일; 예외 사항과 그 이유가 담긴 응답 정책 파일
카드에서 생성되어 손으로 직접 타이핑하는 법이 없는 인쇄된 메뉴JSON으로부터 두 마커 사이에 렌더링된 docs 페이지의 규칙 테이블
메뉴가 여전히 카드와 일치하는지 확인하는 야간 점검CI 안의 드리프트 체크: 다시 렌더링하고, 비교하고, 차이가 있으면 exit 1
누군가 마커펜으로 메뉴를 고치는 일2026-09-09에 드리프트 체크를 레드로 만든, 규칙 id 하나를 손으로 수정한 사건 (로컬 실행이며, CI가 돌리는 것과 같은 명령이다)
Table titled THE SERIES SPINE · FOUR HORIZONS · WHAT EACH ONE SETTLED ABOUT GATES with columns HORIZON, LANDMARKS (VERIFIED), THE PRINCIPLE A 2026 GATE INHERITS. Rows: 300 years (1785 to 2009): Blanc's 50 locks, the 1821 Ordnance bore plugs one to pass the other not to enter, the 1896 Toyoda loom that stops itself, the 1924 Shewhart control-chart memo, the 1950 andon cord, 1956 Western Electric rules, the 2009 WHO checklist; principle: go or no-go, never looks fine, the machine halts itself, anyone may pull the cord, rules written so two people read the chart the same way. 30 years (1999 to 2023): Beck and Fowler daily integration, Bacchelli and Bird 2013, bors, McIntosh 2014, Micco 2017 84 percent flakes, Google 2018 24 lines under 4 hours, SLSA and sigstore 2021, merge queue 2023; principle: small, fast, always-green main, test the merge result, separate flake from fault, a green build is not provenance. 30 months (2024-03 to 2026-08): Devin, Copilot agent, Octoverse 518.7M PRs, GitHub 25M to 90M per month, Stripe 1,000 agent PRs per week, enterprise 2.09x with human review 89 to 68 percent, agent PRs merge 68 to 80 percent, mis-described PRs merge at 28 percent, kernel humans sign; principle: the bottleneck moved to judging, provenance is a trailer nobody checks, no one formalised a review SLA, the merge queue is next. 30 days (2026-08-09 to 09-09), boxed in black: 09-01 Copilot can approve, 09-02 Agent Merge, 08-12 CodeRabbit 143M, 09-07 policy census 83.3 permit 48.8 disclose 14.9 forbid; principle: the AI reaches the merge button, whether it may press it is a repository setting, so the setting is the design. Footer: every landmark is in the series dossier with a verification status.
1화부터 변하지 않은 시리즈의 척추. 이번 화는 첫 행인 1956년과, 마지막 행인 정책 조사 위에 놓인다.

30년짜리 버전: Google이 자사의 리뷰어 기준을 문서로 남겼는데, 그것은 단 한 문장이다

같은 아이디어의 소프트웨어 계보는 더 짧고, 대표적이라 할 만한 예시가 하나 있다. Google의 공개 엔지니어링 실무 지침은 리뷰어의 기준을 단 한 문장으로 명시한다: "reviewers should favor approving a CL once it is in a state where it definitely improves the overall code health of the system" [11]. 이 문장은 산문이며, Google 안에서 효과가 있는 이유는 거의 모든 변경에 리뷰를 요구하는 리뷰 문화와, 작은 변경 단위를 중심으로 구축된 툴링 문화 안에 자리 잡고 있기 때문이다 [12]. 그것은 매우 뛰어난 주방을 가진 레스토랑의 레시피 카드다. 이 문장을 관리자 두 명과 AI 리뷰어가 있는 레포지토리에 그대로 옮겨오면, 그것은 다시 규칙 없는 관리도가 되어버린다: 두 관리자는 "definitely improves"를 서로 다르게 읽을 것이고, 모델은 실행할 때마다 또 다른 방식으로 읽을 것이다.

더 작은 레포지토리에 필요한 것은 더 나은 문장이 아니다. 필요한 것은 그 문장을 검사 가능한 요소들로 분해하는 일이다: 어떤 조건이 기계가 판별 가능해서 막아야 하는 것인지, 어떤 것이 AI가 인용을 달아 제기할 수 있는 판단인지, 그리고 어떤 것이 오직 인간만이 답할 수 있는 것인지. 그 분해 자체가 하나의 데이터 구조이며, 일단 데이터 구조가 되면 docs 페이지와 리뷰어의 프롬프트, 게이트 모두가 그것을 바꿔 말하는 대신 그로부터 생성될 수 있다.

구축: 세 개의 파일, 하나의 렌더러, 하나의 체크

1. 규칙 파일

이 레포지토리의 병합 규칙은 하나의 JSON 파일 안에 살아 있으며, 글을 쓰는 시점 기준으로 29개의 규칙이 있다. 각 규칙은 여섯 개의 필드를 가진다: id, 레벨, 제목, 그 규칙이 유래한 원본 문서, 그것을 강제하는 게이트, 그리고 그 게이트가 수행하는 체크. 레벨은 셋 중 하나다. 열 개의 규칙은 block이다: 테넌트 격리와 쓰기 권한, diff 안에 비밀정보 없음, 마이그레이션 없는 모델 변경, 한쪽만 수정된 이중 언어 문서, 5화의 셀프 테스트 계약. 이것들은 스크립트로 강제되며, 레드 상태인 것은 병합될 수 없다. 열세 개의 규칙은 ai다: AI 리뷰어가 제기할 수 있는 질문들로, 각각 인용을 달고 있으며, 팀이 2026-09-06에 하나의 PR로 추가한 세 가지 엔지니어링 원칙, 즉 객체지향 설계, 루프 엔지니어링, 그래프 엔지니어링을 포함한다. 여섯 개의 규칙은 human이다: 어떤 스크립트도 어떤 모델도 답할 수 없는 질문들, 즉 비즈니스 시나리오, 품질 담당자, 승인 노드, 종료 기준, 지표, 그리고 지금 병합할지 여부이며, 이는 오직 도메인 공동창업자만이 판단할 수 있다.

같은 파일이 이전 글에서 나온 자동 병합 봉투도 담고 있다: 완전히 그린이고, 완전히 측정되었고, 발견 사항이 없는 PR이 인간 없이 병합될 수 있는 경로 프리픽스와 서픽스의 범위, 그리고 어떤 허용보다도 우선하는 차단 목록. 규칙과 마찬가지로 이 봉투도 데이터다. 누군가 "AI가 워크플로 디렉터리에 대한 변경을 병합할 수 있는가"라고 물으면, 답은 대화의 기억이 아니라 파일 안의 한 줄이다.

2. 임계값과 정책

사이즈 게이트의 수치들은 두 번째 파일에 들어 있다. 유효 라인 400줄에서 경고, 3,000줄 또는 60개 파일에서 차단, 에이전트가 작성한 PR은 1,500줄에서 차단하며, 유효 라인은 락파일·압축된(minified) 자산·스냅샷·이미지·폰트·생성된 테스트 데이터를 제외한 뒤 센다. 파일 자체의 문서화 필드가 근거를 밝히고 있다: 리뷰 효과가 수백 줄을 넘어서면 무너진다는 2006년의 발견, 그리고 Google의 작은 변경 원칙. 근거를 밝힌 임계값은 PR에서 논쟁할 수 있다. 스크립트 안의 상수는 그럴 수 없다.

에피소드 2의 응답 시계는 세 번째 파일을 읽는다: 첫 응답까지 48시간, 결정까지 7일, 메인테이너 목록, 응답으로 치지 않는 댓글 마커들, 그리고 예외 대상 PR들. 각 예외는 서면 사유를 하나씩 달고 있다: 게이트가 생기기 전부터 있던 레거시 PR, 그리고 의도적으로 열어둔 네거티브 테스트 PR. 사유가 없는 예외는 로더가 거부한다. 이 문장은 이 글의 검토자가 초고를 읽었을 때는 거짓이었다: 그 요구사항은 파일 자체의 문서화 필드 안에 산문으로만 존재했고, 로더는 빈 문자열을 그대로 받아들이고 있었다. 이 화의 주장이 자기 자신의 예시 안에서 무너진 것이야말로 '만드는 사람이 아니라 검토자가 찾아낸다'는 규칙이 존재하는 이유이며, 그 체크는 같은 날 추가되어 머지되었고, 거부 동작을 증명하는 자체 테스트까지 딸려 있다.

3. 렌더러와 체크

도메인 팀에게 리뷰 규칙을 설명하는 사람용 페이지는 생성된 것이다. 명령어 하나가 규칙 파일을 마크다운 표로 렌더링하고, 그 표는 문서 페이지의 두 HTML 주석 마커 사이에 붙여 넣어진다. 마커 바깥은 사람이 쓴 산문이고, 마커 안쪽은 스크립트가 만든 데이터다. 두 번째 명령어는 표를 다시 렌더링해 마커 사이의 내용과 비교한다. 조금이라도 다르면 재생성하라는 한 줄짜리 지시문을 출력하고 상태 코드 1로 종료한다. 이 명령어는 모든 PR에서 CI로 실행되며, 2화의 루프 감사에서 세 번째 구조적 기준에 해당한다.

2026-09-09에 나는 게이트를 증명할 수 있는 유일한 방법으로 그것을 증명했다: 문서 페이지를 열어 마커 안에서 loop-engineering 규칙에 해당하는 행을 찾아 그 id를 R12에서 R12x로 바꾸고 체크를 돌렸다. 드리프트 메시지가 출력되며 exit 1로 종료됐다. 파일을 원상 복구하고 다시 돌렸다. 이번엔 exit 0으로 종료됐다. 이 exit 코드 한 쌍이 바로 이 제목의 주장을 뒷받침하는 증거다. 이것이 없다면 "the rule cannot drift"(번역: 규칙은 흘러갈 수 없다)라는 말 자체가 그저 산문에 지나지 않았을 것이다.

Diagram titled DATA, NOT PROSE · THREE FILES ARE THE RULES · EVERYTHING ELSE IS RENDERED FROM THEM. Top row, SOURCE OF TRUTH · CHANGED ONLY BY PR, three black cards: ai_review_rules.json, 29 rules, G1 to G10 block, R1 to R13 AI, H1 to H6 human, each with id, level, title, source, gate, check, plus auto_merge envelope with allow and deny prefixes, deny wins; gate_thresholds.json, size warn 400, block 3,000 lines, 60 files, agent-authored block at 1,500, exclude lockfiles, snapshots, images, case data, provenance markers; sla_policy.json, first response 48 h hard, decision 7 d soft, maintainers, comments that do not count, exempt PRs each with a written reason, label names, dashboard title. Arrows down to the middle row, READ BY CODE · NEVER RETYPED, three grey cards: the reviewer plus the docs page, ai_review.py loads the rules into the prompt, render-rules prints the Markdown table pasted between rules begin and end markers; the size and provenance gates, check_pr_ready.py reads the thresholds, check_provenance.py reads the markers, no number lives in a script; the response clock, pr_sla.py classifies against the policy, a threshold change is a diff a human reads, the loader refuses an exemption with no reason. A dashed box: THE CHECK THAT MAKES PROSE HONEST · RUNS IN CI ON EVERY PR, ai_review.py check-doc re-renders the table from the JSON and compares it to the docs page, different means exit 1; proven on 2026-09-09, one rule id hand-edited inside the markers R12 to R12x gives red, restored gives green, the loop audit lists it as S3 and F3. Footer quote: Western Electric 1956, rules written down so that line workers and engineers interpret control charts in a uniform way.
세 개의 파일이 곧 규칙이고, 리뷰어와 게이트와 문서 페이지는 모두 거기서 렌더링되며, 체크 하나가 그 페이지의 정직함을 지킨다.

규칙이 데이터가 되었을 때 달라진 것

산문으로 된 가이드였다면 일어나지 않았을 세 가지 일이 이 레포에서 일어났다. 첫째, 규칙에 개수가 생겼다. 29는 지켜볼 수 있는 숫자다: 루프 감사의 누적성 기준이 git 히스토리에서 이를 읽어와 9월 1일 기준선과 집필 시점 사이에 0에서 29로 늘었다고, 테스트와 교훈들과 나란히 보고한다. 가이드에는 개수가 없으니 추세도 없다. 둘째, 규칙에 출처 열이 생겼다. 29개 규칙 하나하나가 자신이 유래한 문서를 명시한다. 예컨대 loop-engineering 규칙은 교훈 파일과 응답 제안서를 인용한다. 도메인 공동창업자가 왜 리뷰어가 self-test 누락을 지적했는지 물으면, 답은 기억이 아니라 한 행(row)이다. 셋째, 규칙은 AI가 그대로 읽는 대상이 되었다. 리뷰어의 프롬프트는 문서 페이지가 렌더링되는 것과 같은 파일로부터 만들어지므로, 모델은 실행할 때마다 동일한 29행짜리 표를 건네받으며 그중 13개가 자신이 답해야 할 몫이고, 사람들은 모델이 정확히 무엇을 건네받았는지 볼 수 있다. 모든 발견에는 인용이 따라야 한다는 전편의 규칙에는 이제 짝이 생겼다: 모델에게 던져지는 모든 질문에는 id가 붙는다.

달라지지 않은 것도 말할 가치가 있다. 표 주변의 산문, 주방 비유로 새 팀원에게 세 층위를 설명하는 부분은 여전히 산문이고, 여전히 산문이어도 된다. 데이터는 산문이 규칙 행세를 하던 자리를 대체할 뿐, 설명을 대체하지는 않는다.

다섯 번의 왜: 리뷰 규칙이 규칙이 되기 전에 먼저 데이터여야 하는 이유

#왜?왜냐하면증거
1왜 규칙을 기여 가이드 안에 그냥 두면 안 되는가?기여 가이드는 리뷰어마다 다르게 읽히고, 모델도 실행할 때마다 다르게 읽기 때문이다. 그래서 레포에는 읽는 사람 수만큼의 규칙집이 존재하게 된다.Western Electric가 규칙을 문서로 남긴 이유로 밝힌 것 [7]; Google의 한 문장짜리 기준은 오직 Google의 훈련 문화와 도구 문화 안에서만 작동한다 [11]
2왜 에이전트 시대는 이 문제를 더 악화시키는가?사람 독자는 점점 사라지고 있고 PR 설명은 틀릴 수 있기 때문이다: 대다수의 AI 정책은 AI 사용을 허용하며, 내가 읽어본 바로는 그것들은 산문이다. 그리고 잘못 기술된 PR은 여전히 머지된다.[1, 2]; 1화의 커버리지 수치들
3왜 둘 다 손으로 쓰는 대신 데이터로부터 문서를 렌더링해야 하는가?손으로 쓴 규칙 사본 두 개는 결국 서로 갈라질 두 개의 규칙이 되고, 그 갈라짐에는 아무 신호도 없기 때문이다. 렌더링된 사본은 출처가 정확히 하나뿐이다.드리프트 체크가 존재할 수 있는 것은 오직 페이지가 렌더링되기 때문이다. 손으로 쓴 페이지는 아무것과도 비교할 수 없다
4왜 이 체크는 릴리스 스크립트가 아니라 CI에서 실행되어야 하는가?2화의 규칙이 그대로 적용되기 때문이다: 머지 판단이 들여다보지 않는 곳에서 실행되는 체크는 실행된 것이 아니다. 릴리스 시점에 발견된 드리프트는 이미 머지된 뒤다.이 체크는 CI 단계이자 루프 감사 기준 중 하나다; 수작업 편집 증명은 CI가 사용하는 것과 동일한 실행 형태에서 exit 1을 냈다
5왜 모든 예외와 임계값에는 서면 사유가 필요한가?Shewhart가 말한 "통제됨(controlled)"이란 서면 한계 내에서 예측 가능하다는 뜻이기 때문이다; 사유 없는 한계는 수정될 수 없고 오직 무시될 수만 있으며, 무시란 산문이 데이터 안으로 다시 자라나는 방식이다.[6]; 임계값 파일은 2006년 연구와 Google의 출처를 인용하며, 정책의 두 예외 조항은 각각 사유를 명시하고 있다

근본 원인을, 한 문장으로 말하면: 아무도 diff할 수 없는 규칙은 아무도 그것이 여전히 유효함을 증명할 수 없는 규칙이며, 리뷰어가 모델일 수도 있는 레포에서 유효함을 증명할 수 없는 규칙은 규칙이 아니다.

30분 만에 만들기: 규칙-데이터 계약

30분은 이 계약을 그대로 따라 하는 독자를 위한 예산이지, 내가 직접 잰 시간은 아니다.

요소명세
규칙 파일JSON 파일 하나. 각 규칙은: id, level ∈ {block, ai, human}, title, source (그 규칙이 유래한 문서나 결정), gate (그것을 강제하는 스크립트나 단계, 혹은 "human"), check (실제로 검사되는 내용). 게이트 없는 규칙은 없다; 게이트가 "none"인 규칙은 소망일 뿐이며, 소망은 산문 쪽으로 가야 한다.
임계값 파일게이트가 비교 기준으로 삼는 모든 숫자에, _doc 필드로 근거를 명시한다. 생성된 파일에 대한 제외 목록도 포함한다. 게이트 스크립트 안에 숫자 리터럴은 없다.
정책 파일응답 시간, 메인테이너 목록, 응답으로 치지 않는 댓글 마커, id에서 서면 사유로 이어지는 맵 형태의 예외 조항. 로더는 빈 사유를 거부한다; 셀프 테스트가 그것을 증명한다.
렌더러규칙 파일에서 사람이 읽는 표를 출력하는 명령 하나. 문서 페이지에는 마커 두 개가 있고, 표는 그 사이에 위치하며, 그 외에는 아무것도 없다.
드리프트 검사마커 사이의 텍스트를 다시 렌더링해 비교하는 명령 하나. 다르면 재생성 안내를 출력하고 exit 1로 종료한다. 모든 PR에서 CI로 실행된다.
소비자AI 리뷰어는 규칙 파일로부터 프롬프트를 구성한다. 게이트는 임계값을 로드한다. 응답 봇은 정책을 로드한다. 이들 중 어느 것도 사본을 담고 있지 않다.
증명검사가 실전에 투입되기 전에, 마커 사이의 id 하나를 손으로 수정하고 검사를 실행해 exit 1을 기록한 다음, 복원하고 exit 0을 기록한다. 두 exit 코드를 모두 변경 이력에 남긴다.
의도적으로 빠진 것규칙 엔진 없음, 스키마 언어 없음, YAML 앵커 없음, 표 하나를 넘어서는 템플릿화 없음. 각각은 규칙이 머무를 또 하나의 자리가 될 뿐이다.
# The whole contract fits in the shape of the file and one comparison (ids real; text abridged).
{
  "rules": [
    {"id": "G1",  "level": "block", "title": "tenant isolation + write permission",
     "source": "AGENTS S1/S2", "gate": "check_tenant_perm.py", "check": "every query filtered by company; every write behind a role"},
    {"id": "R12", "level": "ai",    "title": "loop engineering",
     "source": "docs/05 §8.24 · proposal §3.4", "gate": "ai_review.py", "check": "does the change close a loop or open one?"},
    {"id": "H1",  "level": "human", "title": "business scenario",
     "source": "docs/01", "gate": "human", "check": "domain co-founder only"}
  ],
  "auto_merge": {"allow_prefixes": ["docs/", "plan/"], "deny_prefixes": [".github/", "scripts/"]}
}

# ai_review.py --check-doc
rendered = render_rules(load("scripts/ai_review_rules.json"))
current  = between(DOC.read_text(), "<!-- rules:begin -->", "<!-- rules:end -->")
sys.exit(0 if rendered.strip() == current.strip() else 1)   # different ⇒ red

같은 이야기, 다섯 개의 출구

독자단 하나의 결정단 하나의 행동
학생검증할 수 없는 규칙은 그저 조언일 뿐이다.당신이 따르는 어떤 가이드에서든 규칙 하나를 골라 id, 레벨, 게이트, 체크로 적어보라.
엔지니어데이터가 먼저이고, 산문은 거기서 렌더링된다.리뷰 규칙을 파일 하나로 옮기고, 그로부터 문서 표를 생성하며, 비교 후 종료하는 검사를 CI에 추가하라.
창업자당신의 AI 정책은 산문이며, 산문은 홍수 앞에서 확장되지 않는다.당신의 기여 규칙 중 어떤 것을 스크립트가 오늘 당장 검사할 수 있는지 물어보고, 그것들을 이번 주 안에 파일로 만들어라.
경영진1956년은 규칙이 엔지니어들의 머릿속을 떠난 해였다.리뷰 규칙이 담긴 파일을 보여달라고 요청해보라. 돌아오는 답이 '문서'라면, 당신이 가진 것은 차트일 뿐 규칙이 아니다.
투자자규칙에 개수가 있는 팀에는 읽어낼 수 있는 추세가 있다.팀이 리뷰 규칙을 몇 개나 갖고 있는지, 그 숫자가 마지막으로 바뀐 게 언제인지 물어보라.

패턴, 안티패턴, 그리고 제1원칙

유지된 패턴들. 규칙 종류별로 파일 하나씩. 규칙마다 여섯 개 필드, 그중 게이트와 출처는 필수. 근거가 문서화된 임계값. 이유 없이는 작성할 수 없는 예외 조항. 마커 사이에 렌더링되는 페이지. 비교 후 종료 코드를 반환하는 체크. 체크를 신뢰하기 전에 거치는 수동 편집 증명.

이번에 대체된 안티패턴들. 어떤 스크립트도 강제하지 않는 규칙들을 나열해놓은 컨트리뷰팅 가이드. 게이트 스크립트 안에 상수로만 존재하던 크기 제한. 가이드를 그대로 바꿔 말한 리뷰어 프롬프트. 대조할 대상이 아무것도 없이 손으로 입력되었을 문서 표.

메커니즘에 이름 붙이기. 모든 규칙은 정확히 하나의 사본만 존재하며, 그 밖의 모든 등장은 그 사본의 함수다. 드리프트 체크는 이 함수를 두 번 적용해 비교하는 것이므로, 차이가 발생한다는 것은 누군가 이 함수를 우회했다는 뜻일 수밖에 없다.

제1원칙, 한 문장으로. 규칙이란 diff할 수 있는 것이다. 그 나머지는 전부 그것에 대한 해설일 뿐이다.

리얼리티 미션

에피소드 2는 에피소드 3에 이르면 루프 감사가 그린 상태의 메인 브랜치에서 재실행되고 그 보고서가 커밋되어 있을 것이라 약속했다. 완료됐다: 감사는 첫 보고서와 함께 머지되었고, 그 자체의 침묵하던 기본값 두 개는 같은 날 고쳐졌으며, 메인 브랜치의 실행은 그린이 되었고, 갱신된 보고서는 봉투가 올바르게 분류하고 사람이 머지한 문서 전용 PR로 반영되었다. 21개 기준이 통과했고 실패는 없으며, 두 개는 아직 측정되지 않은 채로 남아 있다: AI는 아직 PR을 하나도 측정하지 않았고, Tier-1은 아직 하나도 머지하지 않았다. 공동창업자 세 명의 PR은 여전히 첫 응답 라벨을 달고 있으며, 보드도 여전히 그렇게 말하고 있다.

시즌 스코어보드에피소드 1 (2026-09-09, 14:00 UTC)지금 (2026-09-09, 17:00 UTC)
첫 응답이 없는 가장 오래된 열린 PR57시간 (PR 3건)여전히 그 세 건; 라벨 부착, 보드에 기재됨
레드로 전환될 수 있음을 증명하는 자체 테스트가 있는 게이트6개 중 0개9개 중 9개, 감사의 S5 기준이 열거하는 아홉 가지로, CI의 러너가 강제함
9월 1일 이후 트레이스 트레일러를 포함한 에이전트 관여 커밋미측정21건 중 11건; 출처 검증 게이트가 이제 신규 커밋에 이를 요구함
미측정 감사 기준아직 감사가 아님23건 중 2건, 둘 다 코드 밖의 일을 기다리는 중

4화까지 규칙 파일 안의 자동 병합 범위가 실제 문서 전용 PR을 상대로 시험을 거치고, 브랜치 보호 상태도 정직하게 보고될 것이다: 무료 플랜에서는 이 범위가 분류는 하되 아직 병합은 하지 못하며, 글은 어느 쪽인지 밝힐 것이다.

다음 읽을거리

ANDON · 에이전트형 PR 리뷰와 CI/CD 3화. 모든 숫자는 등장하는 자리에서 범위가 정해진다; 주방은 모델이지 측정치가 아니다. 세 데이터 파일, 렌더러, 체크, 그리고 수동 편집 증명은 비공개 레포지토리에 존재한다; 그 형태는 접근 권한이 없어도 되도록 계약서에 그대로 재현되어 있다. 이 에피소드가 인용하는 4개 지평 문서는 포트폴리오의 plans 디렉터리에 기록되어 있다.

참고 문헌

  1. Hora, Robbes, Zacchiroli, "We Permit the Use of AI, but […]", arXiv:2609.07542, 2026-09-07. arxiv.org
  2. Gong et al., Message-Code Inconsistency in Agent-Authored PRs, arXiv:2601.04886, 2026-01-08. arxiv.org
  3. Roser, 230 Years of Interchangeable Parts, AllAboutLean, 2015-07-08. allaboutlean.com
  4. Raber, Malone, Gordon, Cooper, Conservative Innovators and Military Small Arms: Springfield Armory 1794–1968, NPS 1989/2006, p. 138. npshistory.com
  5. Science Museum Group, Whitworth standard wire gauge, 소장품 co59414. collection.sciencemuseumgroup.org.uk
  6. Shewhart, Economic Control of Quality of Manufactured Product, Van Nostrand, 1931 (archive.org 스캔본). archive.org
  7. Western Electric rules, Wikipedia (Western Electric의 Statistical Quality Control Handbook, 1956). en.wikipedia.org을 인용; 핸드북 원본은 확인하지 못함)
  8. Juran Institute, History of Quality Management System. juran.com
  9. Quality Digest, 25 Years of ISO 9001, 2012-04-12. qualitydigest.com
  10. Harvard Gazette, Haynes 외, NEJM 360:491-9, 2009-01. news.harvard.edu
  11. Google Engineering Practices, The Standard of Code Review. google.github.io
  12. Software Engineering at Google, 9장, Code Review, 2020. abseil.io