네이버, AI 보안 취약점 찾는 기술 공개

핵심요약

기사 핵심 요약

네이버가 ICML 2026에서 LLM 레드티밍, 모델 병합, AI 에이전트 자동화, 3차원 공간 이해와 서울 월드 모델 연구를 선보였다.

• 팀네이버는 서울에서 열린 ICML 2026에서 AI 안전성과 모델 운영, 에이전트 자동화, 공간지능 분야 연구를 공개했다.
• LLM 취약점을 다양하게 찾아내는 Stable-GFlowNet은 학회 스포트라이트 논문으로 선정됐다.
• SyMerge와 FlowBot은 여러 모델과 에이전트를 효율적으로 운영하는 기술이며, 서울 월드 모델은 로봇·자율주행 등 피지컬 AI 기반으로 활용될 수 있다.

네이버가 ICML 2026에서 공개한 핵심 기술은

팀네이버는 ICML 2026에서 LLM의 위험한 답변을 유도하는 공격 문구를 자동으로 발굴하는 Stable-GFlowNet, 여러 특화 모델을 하나로 결합하는 SyMerge, AI 에이전트의 작업 순서를 자동 설계하는 FlowBot, 현실 공간을 이해하는 3차원 복원 기술과 서울 월드 모델을 공개했다.

국제머신러닝학회 ICML 2026은 7월 6일부터 11일까지 서울 코엑스에서 열렸다. 메인 학술대회는 7~9일, 워크숍은 10~11일 진행됐다.

네이버는 이번 행사에서 AI 모델의 성능을 높이는 연구뿐 아니라 서비스 적용 전에 위험성을 점검하고 여러 모델과 에이전트를 효율적으로 운영하는 기술을 함께 선보였다.

발표 분야는 크게 AI 안전성, 모델 병합, 에이전트 워크플로 자동화, 동적 3차원 공간 복원, 피지컬 AI용 월드 모델로 나뉜다.

Stable-GFlowNet은 LLM 취약점을 어떻게 찾나

Stable-GFlowNet은 LLM에 공격적인 질문이나 명령을 반복적으로 입력해 안전장치를 우회할 수 있는 취약점을 찾는 자동화 레드티밍 기술이다.

AI 레드티밍은 실제 서비스 전에 모델이 유해하거나 부정확한 답변을 내놓는 상황을 의도적으로 시험하는 검증 절차다. 다양한 공격 문구를 확보할수록 모델이 어떤 상황에서 안전장치를 벗어나는지 폭넓게 확인할 수 있다.

기존 GFlowNet 기반 레드티밍 기술은 학습 과정이 불안정해지거나 비슷한 공격 문구만 반복적으로 생성하는 ‘모드 붕괴’가 발생할 수 있었다. Stable-GFlowNet 연구는 이러한 문제를 줄이고 효과적이면서도 다양한 공격 문구를 생성하는 것을 목표로 한다.

기존 레드티밍과 Stable-GFlowNet 비교

구분	기존 자동 레드티밍의 한계	Stable-GFlowNet의 개선 방향
학습 안정성	보상값 변화로 학습이 흔들릴 수 있음	쌍별 비교 방식으로 안정성 개선
공격 다양성	비슷한 문구가 반복될 수 있음	여러 유형의 공격 문구 탐색
문장 품질	의미 없는 문구에 갇힐 수 있음	자연스러운 문장을 유지하는 안정화 장치
활용 목적	일부 취약점 중심 검사	서비스 전 다양한 위험 상황 점검

연구진은 분배함수 추정 과정을 제거하고 공격 문구를 서로 비교하는 방식으로 학습 안정성을 높였다. 노이즈가 섞인 보상값에 대응하는 마스킹 기법과 의미 없는 문장 생성을 줄이는 안정화 장치도 적용했다.

네이버에 따르면 이 논문은 ICML 2026 전체 채택 논문 가운데 상위 약 2.2%에 해당하는 스포트라이트 논문으로 선정됐다. 해당 비율은 네이버 발표를 기준으로 하며 학회 공식 선정 목록과 함께 표시하는 것이 바람직하다.

LLM 레드티밍이 중요한 이유

LLM은 정상적인 질문에는 안전하게 답하더라도 질문을 우회적으로 바꾸거나 여러 지시를 결합하면 의도하지 않은 답변을 생성할 수 있다.

따라서 출시 전 안전성 검사는 몇 개의 고정된 질문만 입력하는 방식보다 다양한 공격 시나리오를 자동으로 생성하고 반복 시험하는 방식이 효과적이다.

레드티밍 연구에서는 강력한 공격 문구뿐 아니라 서로 다른 유형의 공격을 많이 찾는 것이 중요하다. 특정 공격 방식만 학습하면 그와 유사한 취약점은 막을 수 있지만 새로운 표현이나 우회 명령에는 대응하지 못할 수 있기 때문이다.

Stable-GFlowNet은 모델의 위험한 행동을 조장하기 위한 기술이 아니라 서비스 전 취약점을 선제적으로 찾아 안전장치를 보완하기 위한 검증 기술이다.

SyMerge는 여러 AI 모델을 어떻게 하나로 합치나

SyMerge는 서로 다른 작업에 특화된 여러 AI 모델의 장점을 하나의 모델에 결합하는 모델 병합 기술이다.

모델 병합은 이미지 분류와 자연어처리 등 서로 다른 작업을 학습한 모델의 가중치를 조합해 하나의 다기능 모델을 만드는 방식이다.

기존 방식은 모델 사이의 지식이 충돌하지 않도록 조정하는 데 초점을 맞췄다. SyMerge는 단순히 충돌을 피하는 것을 넘어 서로 다른 작업의 지식이 다른 작업 성능까지 높이는 시너지를 만드는 것을 목표로 한다.

SyMerge의 핵심 특징

• 모델 전체를 처음부터 다시 학습하지 않는다.
• 병합 계수와 작업별 단일 계층만 조정한다.
• 기존 특화 모델의 예측값을 활용해 안정적으로 학습한다.
• 서로 다른 초기 모델 사이의 병합도 지원하는 것을 목표로 한다.
• 이미지와 언어 등 여러 작업을 하나의 모델로 운영할 가능성을 높인다.

공개 논문에 따르면 SyMerge는 병합 계수와 하나의 작업 특화 계층만 함께 최적화하는 경량 방식이다. 네이버 AI LAB과 성균관대학교 연구진이 참여했다.

모델 병합은 왜 필요한가

AI 서비스가 복잡해질수록 작업마다 별도의 모델을 운영하는 비용도 증가한다.

예를 들어 이미지 인식과 문서 분류, 질의응답, 검색 보조 모델을 각각 운용하면 모델마다 저장공간과 서버 자원, 업데이트 절차가 필요하다.

여러 모델의 기능을 하나로 합칠 수 있다면 운영 비용과 관리 복잡성을 줄일 수 있다. 기존 모델을 모두 다시 학습하는 것보다 필요한 자원과 시간을 줄일 가능성도 있다.

다만 모델을 합친다고 모든 작업의 성능이 자동으로 높아지는 것은 아니다. 서로 다른 모델의 지식이 충돌하거나 특정 기능의 정확도가 떨어질 수 있어 병합 이후 작업별 평가가 필요하다.

FlowBot은 AI 에이전트의 업무 순서를 자동 설계

FlowBot은 여러 LLM이나 AI 에이전트가 협업할 때 어떤 일을 어떤 순서로 수행할지 자동으로 설계하는 기술이다.

기존 다중 에이전트 시스템에서는 개발자가 각 에이전트의 역할과 연결 구조, 실행 순서를 직접 정하는 경우가 많다.

예를 들어 자료 조사, 분석, 초안 작성, 사실 확인을 각각 다른 에이전트가 담당한다면 어떤 에이전트가 먼저 일하고 결과를 누구에게 전달할지 개발자가 설계해야 한다.

FlowBot은 이러한 작업 흐름을 데이터에 기반해 자동으로 찾아낸다. 상위 단계에서는 전체 워크플로 구조를, 하위 단계에서는 각 LLM 호출의 프롬프트와 동작을 최적화하는 이중 최적화 방식을 사용한다.

구분	기존 방식	FlowBot
작업 구조	개발자가 직접 설계	AI가 데이터 기반으로 탐색
에이전트 역할	수동으로 프롬프트 작성	각 단계의 호출 방식 자동 조정
실행 순서	고정된 파이프라인	과제에 맞는 흐름 생성
유지보수	작업 변경 때 재설계 필요	새로운 데이터로 구조 최적화 가능
목표	사람이 만든 흐름 실행	효율적인 흐름 자체를 발견

연구진은 FlowBot이 사람이 직접 설계하거나 AI가 단순 생성한 워크플로와 비교해 경쟁력 있는 성능을 보였다고 설명했다.

FlowBot은 어디에 활용할 수 있나

FlowBot과 같은 워크플로 자동화 기술은 복수의 AI가 단계적으로 협업하는 서비스에 활용할 수 있다.

대표적인 예는 기업 보고서 작성이다. 한 에이전트가 사내 문서를 검색하고 다른 에이전트가 수치를 분석한 뒤, 작성 에이전트가 보고서를 만들고 검증 에이전트가 오류를 확인하도록 구성할 수 있다.

고객 상담에서는 고객 문의 분류, 계정 조회, 해결책 검색, 응답 생성, 규정 준수 확인을 각각 다른 에이전트가 담당할 수 있다.

다만 AI가 만든 워크플로가 항상 최적이거나 안전한 것은 아니다. 단계가 복잡해질수록 앞선 에이전트의 오류가 뒤 단계로 전달될 수 있어 결과 검증과 접근 권한 관리가 필요하다.

단일 카메라 영상으로 움직이는 공간을 3차원 복원

팀네이버는 흔들리거나 초점이 흐린 단일 카메라 영상에서 움직이는 물체와 공간을 3차원으로 복원하는 연구도 선보였다.

움직이는 장면을 한 대의 카메라로 촬영하면 카메라 자체의 흔들림과 물체의 움직임, 잔상이 한 영상에 함께 나타난다.

기존 방식은 물체의 외형과 움직임이 섞여 형태가 일그러지거나 흐릿한 3차원 모델을 만들 수 있다.

관련 연구는 물체가 움직인 궤적과 형태 변화를 분리해 분석함으로써 동적 장면의 3차원 구조를 더 안정적으로 추정하는 데 초점을 맞춘다.

단일 영상에서 움직이는 물체의 전체 3차원 형태와 움직임을 함께 복원하는 기술은 로봇과 증강현실, 영상 제작, 자율주행 환경 인식에 활용될 수 있다. 네이버랩스 유럽도 단안 영상에서 동적 물체의 형태와 움직임을 복원하는 Mesh4D 연구를 공개한 바 있다.

서울 월드 모델은 무엇인가

서울 월드 모델은 서울의 도로와 건물, 공간 구조를 디지털 환경에 구현해 AI가 현실 세계를 이해하고 예측하도록 돕는 공간지능 모델이다.

월드 모델은 현실 환경의 상태와 움직임을 학습해 앞으로 어떤 상황이 일어날지 예측하거나 가상의 환경에서 행동을 시험하는 AI 모델을 말한다.

네이버클라우드는 서울 월드 모델을 엔비디아의 피지컬 AI 플랫폼인 코스모스를 활용해 개발했다. 네이버의 지도 데이터와 서울 전역에서 수집한 120만 장의 파노라마 이미지를 학습에 활용했다고 밝혔다.

서울 월드 모델의 활용 가능성

• 로봇의 이동 경로 학습
• 자율주행차의 도로 환경 인식
• 실제 주행 전 가상 시뮬레이션
• 도시 공간 변화 예측
• 배달·물류 로봇의 주행 훈련
• 스마트시티 안전 시나리오 검증
• 공간 기반 AI 서비스 개발

네이버와 엔비디아는 서울 월드 모델을 포함한 공간지능 기술 협력을 확대할 계획이라고 밝혔다.

월드 모델이 피지컬 AI에 필요한 이유

피지컬 AI는 로봇과 자율주행차처럼 현실 공간에서 움직이고 행동하는 인공지능을 의미한다.

대화형 AI는 주로 텍스트나 이미지 데이터를 처리하지만 피지컬 AI는 도로와 장애물, 사람의 움직임, 공간의 변화까지 이해해야 한다.

실제 도시에서 모든 위험 상황을 반복적으로 시험하는 것은 비용과 안전 문제 때문에 어렵다.

월드 모델을 활용하면 디지털로 구현한 서울에서 다양한 이동 상황과 돌발 변수를 학습할 수 있다. 로봇이나 차량이 현실에 투입되기 전에 가상 환경에서 충분히 훈련하고 안전성을 검증하는 방식이다.

다만 디지털 환경이 실제 서울의 모든 날씨와 공사, 보행자 행동, 교통 변화를 완벽히 반영하는 것은 아니다. 실제 서비스 적용 단계에서는 현실 데이터와 반복적인 검증이 필요하다.

네이버 ICML 2026 발표가 의미하는 것은

팀네이버의 발표는 AI 경쟁의 중심이 단순한 모델 크기 확대에서 안전성과 운영 효율, 현실 공간 이해로 넓어지고 있음을 보여준다.

Stable-GFlowNet은 AI 서비스를 출시하기 전에 취약점을 더 폭넓게 찾는 기술이다.

SyMerge는 여러 특화 모델의 기능을 하나의 모델에 결합해 운영 효율을 높이는 접근법이다.

FlowBot은 사람이 일일이 설계하던 다중 에이전트의 업무 흐름을 자동화하는 기술이다.

3차원 복원과 서울 월드 모델은 AI가 텍스트와 이미지를 넘어 실제 공간에서 행동하도록 만드는 피지컬 AI 기반 연구다.

이들 기술은 각각 다른 분야의 연구처럼 보이지만 안전한 AI를 효율적으로 운영하고 현실 세계에 적용한다는 공통된 방향을 가진다.

연구 기술별 핵심 비교

기술	해결하려는 문제	핵심 방식	예상 활용 분야
Stable-GFlowNet	LLM 취약점 탐색	다양하고 강한 공격 문구 자동 생성	AI 안전성 평가
SyMerge	여러 모델의 운영 부담	단일 계층 조정 기반 모델 병합	멀티태스크 AI
FlowBot	에이전트 흐름 수동 설계	워크플로와 LLM 호출 자동 최적화	업무 자동화
동적 3D 복원	흐린 영상의 공간 왜곡	움직임과 형상 분리 분석	로봇·영상·AR
서울 월드 모델	현실 공간 이해와 예측	지도·파노라마 기반 도시 모델링	로봇·자율주행

네이버 ICML 2026 성과 핵심 정리

팀네이버는 ICML 2026에서 AI 안전성부터 모델·에이전트 운영, 공간지능까지 연구 범위를 확장했다.

Stable-GFlowNet은 기존 GFlowNet 레드티밍의 학습 불안정과 반복적인 공격 문구 생성 문제를 줄이는 데 초점을 맞췄다.

SyMerge는 모델 전체를 다시 학습하지 않고 하나의 계층과 병합 계수를 조정해 여러 특화 모델의 기능을 결합한다.

FlowBot은 여러 에이전트가 문제를 해결하는 작업 구조와 실행 순서를 데이터 기반으로 자동 설계한다.

서울 월드 모델은 서울의 실제 공간 데이터를 AI가 학습할 수 있는 디지털 환경으로 구현해 로봇과 자율주행 등 피지컬 AI 개발에 활용될 수 있다.

자주 묻는 질문

ICML 2026은 언제 어디에서 열렸나요?

ICML 2026은 2026년 7월 6일부터 11일까지 서울 코엑스에서 열렸습니다. 메인 학술대회는 7일부터 9일까지, 워크숍은 10일부터 11일까지 진행됐습니다.

Stable-GFlowNet은 어떤 기술인가요?

Stable-GFlowNet은 LLM이 유해하거나 잘못된 답변을 내놓게 만드는 다양한 공격 문구를 자동으로 찾아내는 레드티밍 기술입니다. 기존 GFlowNet 방식의 학습 불안정과 반복적인 공격 생성 문제를 줄이는 데 초점을 맞췄습니다.

SyMerge는 여러 모델을 단순히 합치는 기술인가요?

SyMerge는 모델의 가중치를 단순 평균하는 방식이 아닙니다. 병합 계수와 하나의 작업 특화 계층을 함께 조정해 서로 다른 모델의 기능이 충돌하지 않고 시너지를 내도록 설계한 모델 병합 기술입니다.

FlowBot은 AI 에이전트를 직접 만드는 기술인가요?

FlowBot은 여러 LLM과 에이전트가 어떤 역할과 순서로 협력할지 자동으로 찾는 워크플로 생성 기술에 가깝습니다. 전체 작업 구조와 개별 LLM 호출을 단계적으로 최적화합니다.

서울 월드 모델은 디지털 트윈과 같은 개념인가요?

두 기술 모두 현실 공간을 디지털로 구현하지만 목적에는 차이가 있습니다. 디지털 트윈이 현실 공간의 현재 상태를 재현·관리하는 데 중점을 둔다면, 월드 모델은 AI가 공간의 변화와 미래 상황을 학습하고 예측하도록 만드는 데 더 초점을 둡니다.