인공 지능과 디지털 트러스트

콘텐츠의 진위

생성형 AI에는 콘텐츠 원본의 매우 사실적인 사본을 만들어 낼 수 있는 능력이 있습니다. 따라서 AI를 사용하여 콘텐츠를 생산하는 조직에는 지적 재산권 위험을 초래할 뿐만 아니라 악의적인 행위자가 데이터를 훔쳐 마치 진짜인 것처럼 복사한 다음 원래 창작한 것처럼 행세하거나 다른 공격을 용이하게 만들 수도 있습니다. 

신원 조작

생성형 AI는 몇 초 만에 초현실적인 이미지와 동영상을 만들 수 있으며 심지어 생성 중인 라이브 동영상도 변경할 수 있습니다. 이로 인해 얼굴 인식 소프트웨어부터 법률 시스템의 동영상 증거, 정치와 관련된 가짜 정보에 이르기까지 다양한 핵심 시스템에 대한 신뢰가 훼손되어 실제로 모든 형태의 시각적 신원 확인에 대한 신뢰도가 떨어질 수 있습니다. 

다이너마이트 피싱

공격자가 생성형 AI를 사용하여 얼굴, 음성, 글씨체를 진짜인 것처럼 시뮬레이션하고 기업 또는 브랜드 정체성을 모방하여 매우 효과적이고 감지하기 어려운 피싱 공격에 활용할 수 있습니다. 

프롬프트 주입

생성형 AI의 기성품 모델을 사용하는 조직이 많기 때문에 인스턴스에 프롬프트를 훈련하거나 제공하는 데 사용되는 정보가 널리 사용되는 모델을 표적으로 삼은 공격자가 수정한 주입 공격에 노출될 수 있습니다. 엄격한 보호 장치가 마련되어 있지 않고 자주 업데이트되지 않는다면 기본 AI 모델을 사용하는 조직이 해당 모델을 악용한 공격에 노출될 수 있습니다.  

기계 환각

일반적으로 AI는 설득력 있는 음성이나 텍스트를 빠르게 생성할 수 있지만 항상 정확하지는 않습니다. 이는 특히, 사용자를 위한 정보용 콘텐츠나 지원용 콘텐츠를 생성하는 데 AI를 활용하는 조직과 이상이 발견되면 많은 비용이 들 수 있는 위협을 감지하는 데 기계 학습을 사용하는 조직에 문제가 될 수 있습니다. 

정교해진 공격

AI는 믿을 수 없는 속도로 기능 코드를 작성할 수 있기 때문에 전례 없는 속도와 복잡성으로 공격을 확장하는 데 사용될 수도 있습니다. 또한 AI는 손상된 코드 기반 취약성 감지에 활용될 수 있으며 진입 장벽을 낮춰 공격자의 범위를 확장할 수 있습니다.  

맞춤형 맬웨어

널리 사용되는 LLM에는 악성 코드를 생성하는 사용자를 막기 위한 몇 가지 안전 장치가 있지만 정교한 공격자는 악용할 수 있는 허점을 찾을 수 있습니다. 도난당하거나 복제된 모델에서는 이러한 보호 장치를 제거할 수 있습니다. 따라서 악의적인 행위자가 거의 감지할 수 없으며 고도로 맞춤화된 익스플로잇을 빠르게 생성할 수 있습니다. 

오염된 데이터

공격의 형태가 반드시 AI 자체를 악용하는 것일 필요는 없습니다. 대신, 기계 학습 모델을 훈련하는 데 사용되는 데이터를 표적으로 삼아 잘못된 결과를 출력하도록 할 수 있죠. 그런 다음 이러한 결과를 활용해 모델 자체 내에서 취약점을 공격하거나(예: 범죄자 데이터베이스 내에서 DNA 순서 위조) 표적 조직에 손해를 입힐 수 있는 결과를 생성할 수 있습니다.  

개인정보 유출

민감한 데이터로 훈련을 받거나 해당 데이터를 처리하는 AI는 여러 가지 주요 상용 모델에서 발생했던 버그를 통해서 또는 표적 공격을 통해 민감한 데이터를 노출할 수 있습니다.