AI가 만든 검사기를 일부러 망가뜨려봤다

검사 통과라는 메시지를 받으면 안심하기 쉽다. AI가 구현하고 테스트까지 실행했다면 더 그렇다. 앱 공장을 점검하면서는 반대로 잘못된 입력도 정말 막히는지 보게 됐다.

9월 7일 감사 문서는 정상 사례와 별개로 의도적인 결함을 넣은 시험을 정리했다. 자동 검사를 빼거나 통과 조건을 지우고, 필요한 산출물을 제거하는 식이었다. 초기 결과는 정상 사례 한 건이 통과했고 결함 사례 아홉 건은 차단되지 않았다고 적혀 있다. 당시 보고값이며 지금 다시 실행한 결과는 아니다.

항목이 많은 것만으로는 부족했다

검사 정의를 바꿔도 넘어갈 수 있거나 오래된 진행표를 그대로 인정하면, 검사가 많아도 빠져나갈 곳이 생긴다. 이후에는 정의 비교와 오래된 자료 확인, 원본 변경 감지 등을 보완했다.

화면 검사에서도 비슷한 문제가 있었다. 9월 8일에는 실제로 화면이 회전한 뒤 캡처를 판단하도록 수정했다. 가로 화면을 찍으라고 요청했더라도 기기가 회전하지 않았다면 파일이 있다는 사실만으로는 부족하다.

맞지 않는 기기를 지정했을 때 조용히 다른 기기로 대체하는 동작을 막은 기록도 있다. 검사를 실행했다는 것과 원하는 조건에서 실행했다는 것이 달랐다.

이후 보완이 버그가 하나도 없다는 보증은 아니다. 이미지 해시가 변경을 잡아도 화면이 편한지까지 판단하지는 못한다.

다음 자동화에서는 정상 사례를 통과시키는 것과 함께 대표적인 실패도 먼저 넣어보려 한다. AI가 만든 테스트도 확인할 대상이었다. 파일 존재, 실행 상태, 실제 행동, 사용성은 각각 무엇으로 확인할지 나눠야 했다.

---

← 이전 글: 앱 공장을 여러 개 만들다가 하나로 합쳤다 · 전체 목차 · 다음 글: 앱과 서버를 따로 만들었더니 데이터 이름부터 달랐다 →