AI가 멋대로 일하지 않게 하는 안전장치

· 작성: moonlang

한눈에 보기

  • AI의 작업 순간에 끼어드는 mods
  • 위험한 일은 안전망과 권한 규칙으로 나누기
  • 내 업무의 금지 목록부터 적기

Claude Code의 mods는 AI가 명령을 실행하거나 응답하기 전후에 동작을 관찰하고, 내용을 바꾸거나, 다음 작업 대신 다른 응답을 돌려주는 맞춤 장치입니다. 학원 업무에서는 권한 규칙과 안전망을 나눠 설계하면 AI가 멋대로 진행하는 일을 줄일 수 있습니다.

mods는 무엇을 바꾸나요?

원문에서 mods는 플러그인 안에 넣는 자바스크립트·타입스크립트 모듈이며, 특정 이벤트에 반응하는 hook입니다. observe는 다음 동작을 그대로 진행시키면서 과정을 살펴보고, rewrite는 다음 명령이나 이벤트를 더 안전한 형태로 바꿉니다. answer는 단순히 거절하는 기능이 아닙니다. 다음 동작을 부르지 않고 직접 응답하므로, 요청을 막거나 다른 방법을 안내하는 데 쓸 수 있습니다.

이 기능은 Claude Code 2.1.287 이상(원문 게시 시점 기준)에서 사용할 수 있다고 소개됩니다. Token Weather처럼 컨텍스트 사용량을 보여주는 예, 위험 명령의 영향을 먼저 보여주는 Blast Radius, 작업 과정을 되짚는 Replay Theater가 원문에 나옵니다. 원하는 동작을 말로 설명해 초안을 만들 수 있다는 점도 진입 장벽을 낮춥니다.

안전망과 권한 규칙은 어떻게 나누나요?

여기서 가장 중요한 구분은 Blast Radius가 권한 시스템이 아니라 안전망이라는 점입니다. 실행 전에 위험을 보여주고 한 번 더 묻는 장치는 실수를 줄이지만, 특정 작업을 언제나 막아야 한다면 permission rules, 즉 권한 규칙으로 제한해야 합니다. “삭제는 승인 없이는 절대 실행하지 않는다”와 “삭제될 대상을 실행 전에 보여준다”는 서로 다른 층의 요구입니다.

mods는 Claude Code와 같은 권한으로 실행됩니다. 따라서 출처를 신뢰할 수 있는 장치만 설치하고, 무엇을 읽고 쓰는지 확인해야 합니다. 학원 자료를 다루는 경우에도 외부 공유·삭제·발송은 권한 규칙으로 좁히고, 파일명 정리나 작업 기록은 rewrite와 observe로 보조하는 식이 안전합니다.

학원 업무에 적용하면 무슨 소용인가요?

먼저 AI가 할 수 있는 일과 사람의 승인이 필요한 일을 한 줄씩 나눠 적습니다. 예를 들어 워크북 초안의 형식 점검은 자동으로 진행하되, 학생 정보가 들어간 파일의 외부 공유는 멈추게 합니다. 정보가 빠진 상담 문의에는 임의로 답을 만들지 않고 질문 목록을 돌려주도록 answer의 결과를 설계할 수도 있습니다.

처음부터 복잡한 장치를 만들 필요는 없습니다. 기록만 하는 단계로 어떤 명령이 반복되는지 살핀 뒤, 자주 위험해지는 지점에 수정이나 중단을 붙이면 됩니다. 안전망이 승인 절차를 대신하지 않는다는 원칙만 지키면 작은 학원에서도 범위를 정해 시작할 수 있습니다.

mods 도입 전 점검표

  • AI가 읽고·만들고·수정해도 되는 자료와 사람 승인이 필요한 자료를 분리합니다.
  • 삭제·외부 공유·발송처럼 반드시 막아야 하는 작업은 권한 규칙으로 제한합니다.
  • 처음에는 작업을 기록만 하며 반복되는 위험 명령과 누락을 찾습니다.
  • 파일명·출력 형식처럼 고쳐도 되는 입력은 rewrite의 대상으로 정합니다.
  • 자료가 없거나 판단이 필요한 요청에는 answer가 멈추고 질문을 돌려주게 합니다.
  • 설치한 mods의 출처와 필요한 권한을 확인하고, 변경 이력을 남깁니다.

자주 묻는 질문

mods와 permission rules는 무엇이 다른가요?

permission rules는 권한의 경계를 정하는 규칙입니다. mods는 그 경계 안에서 과정을 관찰하거나 입력을 고치고, 다음 작업 대신 응답하는 확장 장치입니다.

안전망이 있으면 위험한 작업을 허용해도 되나요?

안전망은 실수를 줄이는 보조 수단이지 승인 정책이 아닙니다. 반드시 막아야 하는 작업은 권한 규칙으로 차단하고, 안전망은 영향 범위와 확인 절차를 보여주는 데 사용하세요.

개발자가 아니어도 만들 수 있나요?

원문은 원하는 동작을 자연어로 설명해 초안을 만들 수 있다고 소개합니다. 다만 실제로 설치하기 전에는 코드가 접근하는 자료와 권한을 사람이 검토해야 합니다.

observe부터 시작하는 이유는 무엇인가요?

처음부터 작업을 바꾸면 정상 흐름까지 막을 수 있습니다. 기록으로 실제 패턴을 확인한 다음, 영향이 분명한 지점에 rewrite나 중단을 추가하는 편이 조정하기 쉽습니다.

출처

이 글은 claude.dev 원문을 학원 운영 관점에서 요약·해설한 글이며 번역이 아닙니다.