완전한 AI 보안 자동화는 아직…'휴먼인더루프'가 필요한 이유

핵심요약

기사 핵심 요약

인공지능(AI) 보안 자동화는 위협 탐지에서 높은 효율을 보이지만, 경보 위험도 오판이나 자동 패치 실패 등 명백한 한계를 드러낸다. 이에 따라 AI가 탐지·분석한 정보를 인간 전문가가 최종 검토하고 결정하는 '휴먼인더루프' 협업 모델이 완전 자동화를 대체할 현실적인 대안으로 주목받고 있다.

AI 보안 자동화의 한계로 인간 전문가가 개입하는 '휴먼인더루프'가 핵심 대안으로 부상했다.

• AI는 사이버 위협 탐지에는 뛰어나지만, 경보 위험도 판단과 패치 생성에서는 오류를 보인다.
• AI 자동 패치의 성공률은 26%에 불과하며, 새로운 취약점을 유발하기도 한다.
• 전문가가 AI의 분석 결과를 검토·승인하는 '휴먼인더루프' 방식이 현실적 대안으로 제시된다.

AI 보안, 위협 탐지 성과에도 '완전 자동화'는 시기상조

인공지능(AI)이 사이버 해킹 위협 탐지에 상당한 성과를 내고 있지만, 실제 대응까지 온전히 맡기기에는 한계가 있다는 분석이 나온다. AI 보안 자동화 기술이 경보 위험도를 잘못 판단하거나, 시스템 취약점을 수정하며 오히려 새 문제를 일으키는 사례가 확인됐기 때문이다. AI를 활용한 방어 체계 구축이 시급한 과제로 떠올랐으나, 중요도 높은 최종 결정에는 숙련된 전문가의 판단이 필수적인 '휴먼인더루프' 방식이 강조되고 있다.

AI, 취약점·위협 탐지에서는 성능 입증

AI 보안 자동화는 방대한 데이터에서 위협 패턴을 식별하고 잠재적 취약점을 찾아내는 탐지 영역에서 먼저 성능을 입증했다. 공격자는 하나의 취약점만 공략하면 되지만 방어자는 모든 가능성을 막고 위험도에 따라 대응 순서를 정해야 한다. 이런 상황에서 AI를 통한 탐지 자동화는 보안팀의 효율을 크게 높일 수 있다.

실제로 과학기술정보통신부와 한국인터넷진흥원(KISA)이 2026년 6월 29일부터 9월 25일까지 국내 주요정보통신기반시설 16개사를 대상으로 취약점을 점검한 결과 총 304건의 취약점이 발견됐다. 이 과정에는 오픈AI의 보안 특화 모델인 'GPT-5.5 사이버'가 활용되어 AI의 탐지 능력을 보여줬다. 학술지 'Expert System with Applications'에 실린 연구에 따르면, 8개 대규모 언어모델(LLM)은 178개 보안관제센터(SOC)의 경보를 분석해 실제 위협을 90% 이상 식별해냈다.

탐지와 대응은 다른 문제…AI 자동화의 명백한 한계

AI가 위협 가능성을 찾아내는 데는 능숙하지만, 찾아낸 위협의 우선순위를 정하고 시스템 기능을 훼손하지 않으면서 해결하는 '대응'은 완전히 다른 차원의 문제다. 이 지점에서 완전 자동화의 한계가 드러난다.

잘못된 우선순위 판단…경보 위험도 오분류

'Expert System with Applications'에 실린 같은 연구에서 LLM은 보안 경보의 위험도를 판단하는 데는 한계를 보였다. 연구 결과, LLM은 낮은 단계의 경보를 더 높은 우선순위로 잘못 상향 조정하는가 하면, '높음'과 '심각' 수준의 중요 경보 중 약 70%를 오히려 낮은 단계로 분류했다. 연구진은 이를 근거로 “경보의 우선순위를 지정하는 작업은 LLM에 여전히 어려운 과제”라고 분석했다.

취약점 해결하려다 새 문제…패치 성공률 26%의 의미

AI가 자동으로 생성한 취약점 해결책(패치)을 무조건 신뢰하기도 어렵다. 미국 보안업체 1Password 보안연구팀이 공개한 연구에 따르면, AI가 6개 취약점에 대해 생성한 6,080개의 패치를 분석한 결과, 취약점을 완전히 해결하면서 기존 서비스 기능까지 온전히 유지한 성공적인 패치는 26%에 불과했다. AI 자동 패치의 위험성을 보여주는 대목이다.

전체 패치의 53.9%는 취약점을 해결하지 못했거나 심지어 새로운 취약점을 추가하는 문제를 일으켰다. 취약점은 해결했지만 그 과정에서 애플리케이션의 정상적인 동작을 변경한 패치도 20.1%에 달했다. 결국 AI가 만든 패치를 적용하기 전, 해당 분야 전문성을 갖춘 엔지니어의 검토가 필수적이라는 결론이다.

표: AI 생성 취약점 패치 분석 결과

패치 결과 유형	비율 (%)	주요 내용
실패 또는 신규 취약점 발생	53.9	기존 취약점을 해결하지 못하거나 새로운 보안 문제 유발
완전한 성공	26.0	취약점을 해결하고 기존 기능도 정상적으로 유지
기능 변경 발생	20.1	취약점은 해결했으나 애플리케이션 동작 방식 변경
출처: 1Password 보안연구팀 연구 결과

대안으로 떠오른 '휴먼인더루프', 인간과 AI의 협업

AI 보안 자동화의 한계를 극복할 현실적 대안으로 '휴먼인더루프(Human-in-the-Loop)'가 주목받는다. 휴먼인더루프는 AI나 자동화 시스템이 작업을 수행하는 과정에 인간 전문가가 개입해 검토하고 최종 결정을 내리는 협업 모델을 말한다. 즉, AI는 탐지·분석·권고를 맡고, 사람은 그 정보를 바탕으로 최종 판단과 실행을 책임지는 방식이다.

문종현 지니언스 시큐리티센터장은 “AI가 동작할 때 사람이 중간에 개입해 검토하고, 잘못된 방향을 바로잡고, 최종 결정을 내리는 등의 안전장치가 필요하다”고 강조했다. 안랩 역시 AI 에이전트가 탐지부터 대응까지 협업하되, 중요하거나 영향도가 큰 조치는 사람의 승인을 거치도록 하는 '통제된 자율성'이 중요하다고 밝혔다. 오픈AI 또한 자사 보안 체계에서 '영향이 가장 큰 결정'은 사람이 책임지도록 하고, AI는 초기 경보 분류 등 반복 업무를 줄이는 데 활용한다고 설명했다.

금융당국도 권고…“위험도 따라 자동화 수준 차등화”

국내 금융 당국 역시 AI 보안 자동화의 위험성을 인지하고 인간의 감독과 통제를 강조하고 있다. 금융위원회는 2026년 7월 배포한 가이드라인을 통해 금융회사가 AI 기반 공격에 대비해 보안 자동화 체계를 마련하되, 업무 위험도를 고려해 자동화 수준을 차등화할 것을 권고했다.

가이드라인은 피싱 메일 수신 같은 저위험 업무는 완전 자동화 후 사람이 결과만 점검해도 되지만, 인증 데이터베이스(DB) 접근과 같은 고위험 업무는 AI가 대응 방안을 권고하고 제시하는 역할에 그쳐야 한다고 명시했다. 최종 차단 실행은 보안 담당자가 직접 승인해야 한다는 것이다.

표: 금융위 권고 AI 보안 자동화 수준 차등화 예시

위험도	업무 예시	AI의 역할	사람의 역할
저위험	피싱 메일 수신, 단순 악성코드 탐지	자동 탐지 및 차단 조치	조치 결과 로그 모니터링
고위험	인증 DB 접근 시도, 중요 시스템 설정 변경	위협 탐지 및 대응 방안 권고·제시	최종 검토 및 승인 후 실행
출처: 금융위원회 가이드라인 (2026년 7월)

AI, 보안 전문가의 대체 아닌 강력한 조력자

현재 기술 수준에서 AI는 사이버 보안 전문가를 대체하기보다, 그들의 역량을 강화하는 강력한 조력자 역할을 한다. AI는 방대한 데이터를 신속하게 분석해 인간이 놓칠 수 있는 위협을 찾아내고, 반복적인 초기 분류 작업을 자동화함으로써 전문가들이 더 중요한 분석과 전략적 의사결정에 집중할 수 있도록 돕는다. 성공적인 AI 기반 방어 체계는 기술의 잠재력을 최대한 활용하면서도 그 한계를 명확히 알고, 인간의 전문성과 통제를 결합할 때 완성될 수 있다.

자주 묻는 질문

AI가 사이버 보안을 완벽하게 자동화할 수 없나요?

아직은 어렵습니다. AI는 위협 탐지에는 뛰어나지만, 경보의 위험도를 잘못 판단하거나 시스템에 오류를 일으키는 패치를 생성하는 등 한계가 명확해 완전 자동화는 시기상조입니다.

휴먼인더루프(Human-in-the-Loop)란 무엇인가요?

AI가 탐지하고 분석한 정보를 바탕으로, 최종적인 판단과 실행은 숙련된 인간 전문가가 내리는 협업 모델을 말합니다. AI의 속도와 인간의 전문성을 결합하는 방식입니다.

AI가 생성한 보안 패치를 바로 적용하면 왜 위험한가요?

한 연구에 따르면 AI가 생성한 패치 중 기존 기능을 유지하며 취약점을 완전히 해결한 성공적인 경우는 26%에 불과했습니다. 오히려 새로운 문제를 일으키는 경우가 더 많아 전문가의 검토가 필수적입니다.