들어가며
"이모지 세 개와 아이콘 몇 장이 서버를 멈추게 할 수도 있다면, 믿을 수 있을까요?"
오늘날 AI는 단순히 글자를 넘어서 이미지·기호까지 해석해 실제 행동을 유발해요.
이는 기존의 입력 검증 방어만으로는 부족하며, 실행 환경과 인프라까지 고려해야 한다는 새로운 신호입니다.
최근 여러 기업들이 멀티모달(Multimodal)을 도입하면서, AI 입력이 코드 실행·네트워크 호출·파일 접근까지 연결되는 새로운 위협 시나리오의 가능성이 점차 주목받고 있어요.
본 글에서는 AI 시대의 공격 방식 변화와 이에 대한 대응 방안을 함께 살펴봅니다.
보안 위협의 진화: 과거와 현재
과거의 주류 공격은 프로그래밍 언어 구문을 담은 텍스트를 활용해 시스템의 허점을 파고들었어요.
예를 들어 SQL 인젝션은 로그인 폼에 SQL 구문을 삽입해 인증을 우회하고, XSS(Cross-Site Scripting)는 자바스크립트를 댓글 등에 심어 쿠키를 탈취합니다.
이처럼 공격자는 코드 문법으로 작성된 텍스트를 주입하고 데이터베이스나 브라우저 같은 해석기가 이를 실행하게 만들었죠.
하지만 오늘날에는 AI의 도입으로 공격 패턴이 훨씬 다양해졌습니다.
자연어가 모델과 에이전트의 파이프라인을 거쳐 실제 행동으로 번역되면서, 의미 조작만으로 위험을 유발할 수 있는 공격이 부각되고 있어요.
대표적인 예로 프롬프트 인젝션(Prompt Injection)은 "규칙을 무시하라"는 자연어 지시로 모델의 보안 규칙을 우회시킵니다.
RAG(Retrieval-Augmented Generation)나 크롤링 환경에서는 외부 문서에 지시를 숨겨두고, 시스템이 이를 수집할 때 모델이 따르도록 유도하여 내부 API 호출이나 민감 정보 노출을 일으킬 수 있어요.
핵심은 공격자가 더 이상 SQL, 자바스크립트, 셸 명령 같은 문법을 직접 작성하지 않아도 된다는 점이에요.
사람이 쓰는 문장과 맥락 조작만으로도 모델의 판단을 흔들어 도구 실행, 파일 접근, 네트워크 호출 같은 결과를 이끌어낼 수 있습니다.
차단 규칙을 비껴가는 한 수: 보이지 않는 지시
공격은 여기서 멈추지 않아요.
AI 시대의 보안 공격은 이미 자연어만으로도 대응이 까다로운데, 이제는 글자 없이 이미지와 기호의 조합만으로 지시를 숨기는 단계까지 진화했습니다.
표면상 텍스트가 보이지 않으니 금칙어·정규식 같은 텍스트 중심 차단 규칙을 손쉽게 비껴가고, 입력이 깨끗해 보이는 만큼 초기 탐지가 더 어려워졌다는 점이 방어자에게 큰 부담이 되고 있어요.
이 변화의 배경에는 멀티모달 기술의 발전이 있습니다.
멀티모달은 텍스트, 이미지, 음성, 비디오 등 서로 다른 형태의 데이터를 동시에 처리·이해하는 인공지능으로, 최신 모델은 각 입력을 벡터(숫자 표현)로 변환해 한 시퀀스로 결합하고, 이 공통 의미 공간에서 정보를 섞어 추론해요.
그 결과, 모델은 이미지 속 글자를 읽는 수준을 넘어, 그림 자체의 상징과 맥락을 텍스트와 같은 무게로 해석하며 "무엇을 해야 하는가"를 스스로 도출할 수 있습니다.
예를 들어 프린터–손 인사–지구본 이미지 나열을 AI는 print 'Hello, world'로 인식할 수 있어요.
또한, 휴지통–문서 아이콘은 파일 삭제 명령으로 해석하기도 합니다.
AI 시대, 공격자에게도 슈퍼파워를
이처럼 AI 기술의 발전은 새로운 공격 벡터를 만들었을 뿐만 아니라, 공격자의 능력 자체를 근본적으로 강화시켰어요.
AI로 무장한 공격자는 인간 해커보다 더 빠르고, 더 많은 시스템을 노리며, 스스로 학습하면서 진화합니다.
또한 지속적으로 발전하는 AI 특성상, 이미지 추론을 통한 명령어 전달과 같이 기존 보안 체계 패러다임을 깨는 혁신적인 공격 기법도 등장하고 있죠.
AI 시대 사이버 공격의 주요 특징을 살펴보면 다음과 같이 분류할 수 있어요.
실제로 크라우드스트라이크 보고서에 따르면 공격 빈도가 뚜렷한 증가 추세를 보이고 있으며, 특히 ChatGPT 출시 이후 이전 대비 급격한 상승세를 나타내고 있습니다.
이는 공격자가 생성형 AI를 활용하여 멀웨어 개발, 악성 스크립트 작성, 기술적 장애 해결 등을 수행하면서 취약점 탐색과 공격 프로세스를 자동화한 결과로 분석돼요.
AI 시대 보안의 빙산과 수면 아래
이렇게 진화하고 강력해진 공격자는 실제로 어디를 노릴까요?
AI 보안이라 하면 흔히 모델 자체를 속이거나 잘못된 데이터를 학습시키는 공격을 떠올려요.
하지만 이는 빙산의 일각에 불과합니다.
공격자들이 진짜 주목하는 곳은 따로 있어요.
바로 빙산의 가장 방대하고 관리가 어려운 수면 아래, 즉 AI 생태계를 구성하는 수천 개의 오픈소스 패키지입니다.
더 알아보기
AI 시대 보안의 핵심인 오픈소스, 그렇다면 왜 오픈소스가 공격자들의 주요 타겟이 될 수밖에 없을까요?
이어지는 내용에서는:
•
AI 생태계가 오픈소스 생태계인 이유
•
공격자들이 오픈소스 보안취약점에 주목하는 이유
•
AI가 만드는 역설: 확대되는 공격 표면
•
AI가 스스로 만드는 공급망 보안 사각지대
•
AI 시대를 위한 오픈소스 보안 3대 방어 체계
더 자세한 내용이 궁금하시다면 전체 글 보러가기
전체 글 보러가기 참고 자료
전재웅 프로
오픈소스 거버넌스 전문 컨설턴트로서, 삼성 그룹 계열사를 비롯한 국내 주요 기업들의 오픈소스 관리 체계 구축 프로젝트를 다수 수행하고 있습니다.