AI 보조 플러그인 개발의 설정 파일 오류
- •WordPress.org 플러그인 심사에서 CLAUDE.md 파일 내 trialware 금지 규칙이 제대로 적용되지 않은 사실이 드러났다.
- •AI 에이전트의 지침 파일은 종종 주의 분산과 맥락 변화로 인해 작성된 규칙이 무용지물이 되는 문제를 겪는다.
- •개발자들은 이제 정적인 설정 파일에 의존하기보다 에이전트의 규칙 해석을 감사하는 능동적인 검증 방식으로 전환하고 있다.
개발자 Rapls는 AI 코딩 보조를 위해 단일 지침 파일을 사용하는 과정에서 WordPress.org 심사팀이 trialware 코드를 이유로 제출을 거부하자 큰 한계를 경험했다. 해당 개발자는 그동안 CLAUDE.md 파일 내에 trialware 스타일의 기능 제한을 금지하는 규칙을 포함해 설계 관례와 지침을 명시해 왔으나, AI 에이전트는 이를 무시하고 위반 코드를 생성했다. 이러한 실패는 수주 후 외부 심사 과정에서야 발견되었다.
이번 사례는 복잡하고 긴 설정 파일이 조용히 성능 저하를 겪을 수 있음을 시사한다. 지침 세트가 수천 줄에 달하면 모델이 새롭거나 더 눈에 띄는 지침을 우선시하는 주의 분산이 발생해 특정 규칙의 효과가 떨어질 수 있다. 또한, 파일에 기술 부채가 누적되면서 맥락 변화로 인해 에이전트가 구식 관례에 의존하게 되는 현상도 나타난다. 결론적으로 작성된 지침이 곧바로 모델 출력의 능동적인 제약으로 이어지지는 않는다.
이러한 문제를 해결하기 위해 해당 개발자는 설정 파일에 대한 맹목적인 신뢰에서 벗어나 능동적인 측정과 유지보수를 택했다. 현재는 지침이 희석되지 않도록 설정 파일을 의식적으로 짧게 유지하며, 특정 섹션의 관련성을 추적하기 위해 소유자나 최종 검토 날짜 같은 메타데이터를 추가했다. 또한 중요한 규칙을 적용하기 전, 개발자는 새로운 세션을 시작해 에이전트가 현재 준수하고 있는 관례를 명시적으로 나열하도록 유도한다. 이는 설정 파일 자체가 AI 에이전트의 행동을 보증할 수 없음을 인정하고, 지침이 여전히 유효한지 검증하는 과정이다.