안녕하세요!
요즘 AI가 사이버 공격을 돕는 수준을 넘어,
스스로 공격 과정을 관리하는 단계로 진화하고 있습니다.
Google Threat Intelligence Group(GTIG)은
2026년 9월 8일 공개한 위협 보고서에서
공격자가 자율형 멀티 AI 에이전트를 이용해 6시간 이내에
대규모 자격증명 수집 공격을 설계하고 실행한 사례를 공개했습니다.
이번 사례는 단순히 AI로 피싱 문구나
악성코드를 작성한 수준이 아닙니다.
AI 에이전트가 취약점 스캔과 오류 해결, IP 변경,
자격증명 수집 과정을 자동으로 운영했다는 점에서
기업의 AI 에이전트 보안에 새로운 경고를 던지고 있습니다.
6시간 만에 실행된 자율형 AI 공격
GTIG에 따르면 한 금전 목적의 공격자는 기업의 클라우드 인프라를 침해한 뒤,
해당 환경에 자율형 멀티에이전트 공격 프레임워크를 구축했습니다
공격자는 AI 코딩 챗봇과 사전에 작성한 프롬프트, 에이전트 작업 지침을
활용해 대규모 자격증명 수집 캠페인을 기획하고 실행했습니다.
이 모든 과정에 걸린 시간은 6시간이 채 되지 않았습니다.
AI 에이전트는 다음과 같은 작업을 수행했습니다.
1.공격 대상과 인터넷 노출 시스템 탐색
2.취약점 스캔 과정의 자동 관리
3.실행 중 발생한 오류의 실시간 해결
4.탐지 회피를 위한 IP 주소 변경
5.외부 서비스의 자격증명 수집
6.수집 결과의 분류와 후속 작업 준비
기존에는 여러 명의 공격자가
오랜 시간에 걸쳐 진행해야 했던 작업을
AI 에이전트가 빠른 속도로 반복·자동화한 것입니다.
특히 공격자가 피해 기업의 클라우드 환경을 경유하면서
정상적인 기업 IP 주소로 공격 트래픽을 발생시켰다는 점도 주목해야 합니다.
단순한 외부 IP 차단만으로는 공격을
식별하기 어려워질 수 있기 때문입니다.
수천 개의 자격증명이 공격 대상이 됐다
이번 공격을 통해 수천 개의 제3자 자격증명이 침해된 것으로 조사됐습니다.
GTIG는 별도로 노출된 공격 인프라에서 2만3,800개가 넘는 비밀정보를
실시간으로 분류하고 관리하는 시스템도 발견했습니다.
여기에는 일반적인 계정정보뿐 아니라
클라우드 및 AI 서비스의 API 키도 포함됐습니다.
다만 2만3,800개라는 수치는 앞서 언급한
6시간 공격 한 건에서 모두 탈취됐다는 의미는 아닙니다.
GTIG가 별도로 발견한 공격 인프라에서 관리되고 있던 전체 비밀정보의 규모입니다.
공격자들이 노리는 대상도 달라지고 있습니다.
-생성형 AI 서비스의 API 키
-클라우드 접근 자격증명
-기업이 자체 개발한 AI 모델
-프롬프트와 AI 작업 지침
-소스코드와 연구자료
-AI 모델을 실행할 수 있는 클라우드 컴퓨팅 자원
이제 프롬프트와 AI 설정 파일도
기업이 보호해야 할 중요정보로 봐야 합니다.
프롬프트 인젝션으로 AI 보안 도구까지 공격했다
보고서에는 프롬프트 인젝션을 이용해
AI 코딩 도구와 보안 분석기를 교란한 사례도 포함됐습니다.
공격자는 악성 설정 파일이나 자바스크립트 코드 주석에
AI를 대상으로 한 지시문을 숨겼습니다.
개발자가 해당 파일을 AI 코딩 도구로 열면,
AI가 숨겨진 내용을 데이터가 아닌 명령으로 받아들이도록 유도하는 방식입니다.
일부 악성 지시문은 AI 코딩 도구에 특정 스크립트나 명령을 실행하도록 요구했습니다.
또 다른 지시문은 위험한 내용을 의도적으로 포함해
AI 보안 분석기가 안전 정책을 이유로 파일 분석을 중단하도록 유도했습니다.
즉, 공격자는 AI를 공격 도구로 활용하는 동시에
기업이 사용하는 AI 도구 자체도 공격 대상으로 삼고 있습니다.
Google은 관련 활동이 Gemini의 안전 기능에 탐지됐으며,
문제 계정과 공격 자산을 비활성화하고 추가적인 방어 조치를 적용했다고 밝혔습니다.
AI 에이전트 보안이 중요한 이유
생성형 AI는 이제 질문에 답하는 챗봇을 넘어 이메일과 문서를 읽고,
코드를 작성하고, 외부 시스템과 연결되는 AI 에이전트로 발전하고 있습니다.
문제는 AI 에이전트가 업무를 대신하기 위해
사용자와 동일하거나 그에 가까운 권한을 부여받는다는 점입니다.
AI 에이전트가 탈취되거나 악성 명령에 영향을 받으면
공격자는 에이전트가 접근할 수 있는
문서와 이메일, 클라우드 저장소, 업무 시스템까지 함께 노릴 수 있습니다.
이번 사례가 기업에 보여주는 변화는 크게 세 가지입니다.
첫째, 공격 속도가 빨라졌습니다
AI는 스캔과 오류 해결, 공격 방식 변경을 반복적으로 수행할 수 있습니다.
공격자가 직접 모든 단계를 처리할 때보다 기업의 탐지·대응 시간이 크게 줄어듭니다.
둘째, AI가 가진 권한이 사고 범위를 결정합니다
AI 에이전트에 과도한 파일 접근권한이나 외부 전송 권한을 부여하면
하나의 계정이나 에이전트가 침해됐을 때 피해가 여러 시스템으로 확산될 수 있습니다.
셋째, AI에 입력된 데이터도 공격자의 표적이 됩니다
AI 대화에 포함된 개인정보와 소스코드, API 키, 내부 문서는
AI의 대화 맥락이나 작업 기록에 남을 수 있습니다.
공격자는 AI 서비스 자체뿐 아니라 프롬프트와 연결 시스템에 저장된 정보도 노리고 있습니다.
기업의 생성형 AI 보안 체크리스트
AI 에이전트 보안을 위해서는 모델의 안전 기능에만 의존해서는 안 됩니다.
기업의 데이터와 사용자, 권한을 함께 관리하는 다층적인 보호체계가 필요합니다.
-AI 에이전트에는 업무 수행에 필요한 최소 권한만 부여
-클라우드 및 AI API 키를 소스코드와 프롬프트에 직접 입력하지 않도록 관리
-외부 파일·웹페이지·이메일을 신뢰할 수 없는 입력값으로 분류
-중요 작업과 외부 데이터 전송 전 사용자 승인 적용
-생성형 AI에 입력되는 개인정보와 기업 기밀 사전 점검
-사용자·부서별로 사용 가능한 AI 서비스와 데이터 범위 설정
-프롬프트와 첨부파일, 차단 내역에 대한 로그 관리
-비정상적인 대량 호출과 외부 전송 행위 지속 모니터링
특히 임직원이 어떤 생성형 AI를 사용하고 어떤 정보를 입력하는지 파악하지 못하면,
기업은 정보가 유출된 이후에도 정확한 원인과 피해 범위를 확인하기 어렵습니다.
AI 공격 시대, 데이터가 입력되기 전에 통제해야 합니다
Sphinx AI는 ChatGPT, Claude, Gemini 등
생성형 AI 서비스로 프롬프트와 첨부파일이 전달되기 전에
개인정보·민감정보·기업 기밀 포함 여부를 분석합니다.
탐지된 정보는 기업의 보안 정책에 따라 입력을 차단하거나 마스킹·치환할 수 있습니다.
용자와 그룹별 정책 설정, 생성형 AI 사용 및 차단 이력 관리도 지원합니다.
Sphinx AI가 공격자의 자율형 해킹 프레임워크나
이미 침해된 클라우드 환경을 직접 차단하는 것은 아닙니다.
하지만 개인정보와 기업 기밀, 중요 업무정보가
생성형 AI의 대화와 작업 맥락에 포함되기 전에 통제하면
계정 탈취나 프롬프트 인젝션 등의 문제가 발생했을 때
외부로 유출될 수 있는 정보의 범위를 줄이는 보호 계층이 될 수 있습니다.
생성형 AI를 막는 것이 아니라 안전하게 사용해야 합니다
AI 에이전트는 기업의 생산성을 높이는 중요한 업무 도구가 되고 있습니다.
그렇다고 편리함을 위해 기업 데이터의 통제권까지 넘겨서는 안 됩니다.
이번에 공개된 공격 사례는 AI가 공격자의 업무까지
빠르게 자동화하고 있다는 사실을 보여줍니다.
기업 역시 생성형 AI 사용 현황을 파악하고,
AI로 전달되는 데이터를 사전에 보호하는 체계를 마련해야 합니다.
업무 생산성과 데이터 보안, 모두 놓칠 수 없으니까.
생성형 AI 데이터 보안 솔루션 Sphinx AI DLP로
기업의 AI 사용 환경을 안전하게 관리해 보세요.
서비스 문의
02-396-7005 (503~505)
ask@comtrue.com
Posted by. ComTrue Technologies, Inc.
AI PLATFORM – COMETRUE.AI
