AI가 같은 실수를 반복할 때는 스킬부터

· 작성: moonlang

한눈에 보기

  • 스킬은 지침·스크립트·자료가 든 업무 폴더
  • 설명은 언제 쓰는지 적기
  • 자주 틀리는 한 줄이 매뉴얼을 키운다

AI가 같은 실수를 반복한다면 모델을 바꾸기 전에 스킬을 만들어 보세요. 스킬은 지침만 적은 메모가 아니라 실행 스크립트와 참고자료까지 담아 필요할 때 꺼내 쓰는 업무 폴더이며, 자주 틀리는 한 줄을 다음 작업의 기준으로 남기는 장치입니다.

스킬에는 무엇을 넣나요?

Claude Code를 만든 경험을 다룬 원문에서 skill은 지침, 실행 스크립트, 참고자료가 함께 있는 폴더로 설명됩니다. 따라서 “이렇게 해”라는 문장만 넣는 것보다 업무에 필요한 파일과 반복 작업을 실행할 방법을 한곳에 두는 편이 낫습니다. 설명문은 사람에게 보이는 홍보 문구가 아니라, AI가 어느 상황에서 이 스킬을 불러야 하는지 알려주는 신호에 가깝습니다.

원문은 내부 스킬을 라이브러리·API 참고, 제품 검증, 데이터 조회·분석, 반복 업무 자동화, 코드 품질·배포 등 아홉 범주로 묶어 보여줍니다. 다만 이 분류가 모든 조직에 적용되는 확정 목록은 아닙니다. 학원이라면 수업 자료 제작, 상담 응대, 성적·출결 확인처럼 실제 반복 업무를 기준으로 자기 범주를 정하면 됩니다.

스킬이 무엇이고 첫 스킬을 어떻게 고르는지는 원장 머릿속 기준을 스킬로 옮기는 법에서 먼저 볼 수 있습니다.

gotchas는 왜 중요한가요?

gotchas는 “갓차”에 가깝게 발음하며, 자주 틀리지만 놓치기 쉬운 예외를 모아 둔 부분입니다. 예를 들어 추가만 되는(append-only) 구독 표에서 원하는 행은 만든 날짜(created_at)가 가장 최근인 행이 아니라 버전이 가장 높은 행입니다. 이런 한 줄은 긴 설명보다 실수를 잘 막을 수 있습니다. AI가 실제로 어디에서 헷갈렸는지 기록했다가 바로 이 구역에 추가하세요.

처음부터 거대한 매뉴얼을 쓰지 않아도 됩니다. 스킬 이름과 사용 조건 몇 줄, 첫 번째 gotcha 하나로 시작하고, 오류가 재현될 때마다 규칙을 보태면 됩니다. “무엇을 하는가”보다 “언제 써야 하는가”를 설명하는 것이 호출 시점을 안정시키는 데 더 중요합니다.

학원 업무에는 어떻게 옮길까요?

워크북 제작 스킬에는 자료 형식, 문항 연결 방법, 산출물 검사 순서를 넣을 수 있습니다. 상담 응대 스킬에는 개인정보를 다루는 범위, 사람에게 넘길 조건, 답변에 ‘확인되지 않음’을 표시하는 기준을 넣습니다. 이런 규칙을 매번 대화에 복사하는 대신 하나의 폴더와 참고자료로 관리하면 담당자가 바뀌어도 기준을 찾기 쉽습니다.

스킬은 AI를 마법처럼 똑똑하게 만드는 기능이 아닙니다. 이미 발견한 오류를 외부 문서로 기억하고, 다음번에도 같은 검사를 실행하게 하는 운영 장치입니다. 내용이 짧더라도 실제 실패를 정확히 막는 규칙 하나가 있으면 출발점으로 충분합니다.

학원 스킬을 만들고 고칠 때 확인할 것

  • 반복 업무마다 스킬의 이름, 호출할 상황, 끝난 상태를 한 줄씩 적습니다.
  • 지침뿐 아니라 필요한 스크립트와 참고자료를 같은 업무 폴더에 둡니다.
  • 최근에 발생한 실수를 gotchas에 재현 조건과 함께 기록합니다.
  • 워크북 제작과 상담 응대처럼 결과 기준이 다른 업무는 스킬을 분리합니다.
  • 답변에 ‘확인되지 않음’을 표시하는 기준처럼 사람이 검토할 신호를 명시합니다.
  • 실제 사용 뒤 호출되지 않은 경우와 잘못 호출된 경우를 모두 고쳐 씁니다.

자주 묻는 질문

스킬과 프롬프트는 무엇이 다른가요?

프롬프트는 한 번의 요청에 쓰는 지시문이고, 스킬은 지침·스크립트·자료를 반복해서 불러 쓰는 업무 단위입니다. 같은 절차를 여러 번 실행한다면 스킬로 외부화할 이유가 생깁니다.

gotchas에는 무엇을 적어야 하나요?

AI가 실제로 틀렸고 다음에도 다시 틀릴 가능성이 있는 예외를 적으세요. “주의해서 확인”처럼 넓은 말보다 어떤 값을 선택하고 어떤 순서를 지켜야 하는지 구체적으로 쓰는 편이 좋습니다.

설명문은 사람을 위해 쓰면 안 되나요?

사람이 읽을 수 있어야 하지만, 우선 AI가 사용 시점을 판단할 수 있어야 합니다. “상담 응대 스킬”보다 “학부모가 성적·보충수업을 문의할 때 사용”처럼 상황과 목적을 적는 것이 유용합니다.

아홉 범주를 모두 만들어야 하나요?

그럴 필요는 없습니다. 원문의 아홉 범주는 생각을 정리하는 참고 틀일 뿐이므로, 현재 반복되는 학원 업무 하나부터 스킬로 만들고 사용 기록을 보며 늘리세요.

출처

이 글은 claude.dev 원문을 학원 운영 관점에서 요약·해설한 글이며 번역이 아닙니다.