최근 장마철을 맞아 생성형 인공지능(AI)으로 제작된 재난 영상이 유튜브 등 플랫폼에서 확산되며 진위를 둘러싼 논란이 커지고 있다.

실제 피해 상황을 다룬 것처럼 꾸며진 이들 영상은 시청자들에게 혼란을 주고 있으며, AI 기술의 부작용에 대한 우려도 높아지고 있다.

21일 ‘장마’, ‘폭우’ 등 키워드로 검색하면 경복궁, 강남역, 지하철 등 도심이 침수된 배경을 바탕으로 한 영상 콘텐츠가 다수 등장한다.

일부 영상은 AI 기술로 제작된 것이지만 실제 방송처럼 편집돼 사실 여부를 판단하기 어렵게 만든 것이 특징이다.

예를 들어 한 영상에서는 노란 우비를 입은 남성이 경복궁을 배경으로 “경복궁이 완전히 물에 잠겼다”고 말한다.

이어 바지를 걷은 시민들이 물을 퍼내는 장면과 함께 물개가 궁내를 헤엄치는 연출이 등장한다.

또 다른 영상에서는 리포터가 침수된 강남역이나 지하철역을 배경으로 중계를 하는 장면도 포착됐다.

모두 실제 촬영이 아닌 AI 기술로 생성된 가상의 장면이다.

전문가들은 생성형 AI 기술이 고도화되며 영상의 사실 여부를 일반인이 판단하기 어려운 수준에 도달했다고 경고한다.

실제로 MBC는 AI 기술을 활용해 ‘서프라이즈’ 등 프로그램에서 재연이 어려운 장면을 제작한 사례도 있다.

그러나 이와 같은 기술이 잘못 활용될 경우, 사회적 혼란과 신뢰 저하로 이어질 수 있다는 지적이다.

딥페이크 등 AI 기술의 악용 사례도 늘고 있다.

한국형사·법무정책연구원에 따르면 딥페이크 관련 경찰 신고 건수는 2021년 156건에서 지난해 964건으로 급증했다.

최근에는 러브버그가 퍼지는 현상을 다룬 AI 영상을 방송사가 실제 영상으로 착각해 오보를 내보낸 사례도 있었다.

AI로 만든 영상이 여성 환경운동가를 비하하는 장면으로 퍼지면서 논란이 된 바도 있다.

이에 따라 정부는 AI 영상에 대한 규제 마련에 나섰지만, 실효성에 의문이 제기된다.

내년부터 시행되는 AI 기본법에는 생성형 AI 콘텐츠에 워터마크 표시를 의무화했지만, 워터마크가 손쉽게 제거될 수 있다는 점에서 실효성 논란이 이어지고 있다.

최병호 고려대 AI연구소 교수는 “AI 모델 제작사가 영상의 생성 여부를 식별할 수 있는 기술을 제공하는 것이 사회적 비용을 줄일 수 있는 가장 현실적인 해법”이라고 설명했다.

다만 과도한 규제가 국내 AI 산업 발전을 저해할 수 있다는 우려도 함께 제기된다.

정부와 업계는 AI 기술의 순기능과 부작용 사이에서 균형 있는 제도 정비가 필요하다는 데 의견을 모으고 있다.

시민들 또한 AI 콘텐츠를 비판적으로 수용하는 인식 제고가 중요하다는 목소리가 커지고 있다.