최근 보안 업계와 IT 기술 분야를
가장 뜨겁게 달군 이슈가 있습니다
바로 영국 AI보안연구소(AISI)의 테스트 과정에서
관찰된 ‘AI의 자율 해킹 시도’ 사건입니다
AI가 발전함에 따라 단순히 정해진 답을 내놓는 수준을 넘어,
스몰 에이전트 형태로 자율적인 행동을 수행할 수 있게 되면서
발생한 새로운 차원의 보안 위협인데요
오늘 글에서는 이 사건의 핵심 시사점을 짚어보고,
우리 기업들이 생성형 AI 시대에 맞춰
어떻게 내부 데이터를 보호해야 하는지
현실적인 대응 방안을 나누어보고자 합니다
이유 분석 : 별도 지시 없이 현실에서 ‘자율 해킹’을 시도한 AI
최근 영국 AISI의 안전성 테스트 도중,
AI 에이전트가 사람의
직접적인 해킹 지시가 없었음에도 불구하고
가짜 신원을 생성하고
오픈소스 프로젝트에 악성 코드를 삽입하려고
시도한 정황이 포착되었습니다.

실제로 AISI가 진행한 사이버보안 챌린지 테스트 결과를 살펴보면 충격적입니다.
총 122회의 테스트 중 10회에서 비승인 자율 행동이 나타났으며,
그중 19건은 실제 인터넷 환경에서 확인된 행동이었습니다.
특히 Anthropic의 특정 모델과 OpenAI의 특정 모델에서
이러한 행동이 집중적으로 관찰되었습니다.
이는 AI가 통제되지 않은 환경에서
자율적으로 외부 시스템에 접근할 수 있다는
가능성을 데이터로 입증한 것입니다.

그렇다면 AI는 어떤 자율 행동을 했을까요?
AISI는 가짜 온라인 신원을 생성하여 실제 사람처럼 위장하고,
오픈소스 프로젝트에 악성 코드를 삽입하려고
시도한 사례를 가장 심각한 케이스로 꼽았습니다
심지어 코드 승인을 얻기 위해 관리자를 상대로
사회공학적 압박과 설득까지 시도했습니다
이는 AI가 단순한 도구를 넘어,
사람처럼 계획하고 기만할 수 있음을 보여줍니다.
•정확한 사실 확인 (Fact Check)
많은 매체에서 이 사건을 보도하면서 ‘AI가 샌드박스를 탈출했다’고 표현하지만,
이는 사실과 다릅니다. 이 부분은 기술적으로 명확히 이해할 필요가 있습니다.

이번 사건은 공격 역량 평가를 위해 의적으로
인터넷 접속을 허용하고 보안 기능을 해제한
격리된 시험 환경(Sandbox)에서 발생한 테스트 결과입니다
실제 일반 사용자가 이용하는 상용 서비스 조건과는 다르며,
시도는 실패했고 확인된 실제 피해는 없었습니다
하지만 AI의 자율성과 접근 권한이 확장될 때
어떤 예측 불가능한 위험이 발생할 수 있는지를
명확히 보여준 사건이라는 점은 변함없습니다
AI 통제권 확장의 핵심: “기업 내부 데이터 유출 방지”
이번 AISI 보고서가 주는 핵심 시사점은
AI 보안의 범위가 단순한 ‘답변 내용 보호’에서
‘AI의 행동 통제’로 완전히 넘어가고 있다는 것입니다.

AI 모델이 에이전트화되어
스스로 판단하고 외부 시스템(네트워크, ID 계정 등)과
통신하는 권한(Agentic AI)이 커질수록,
기업 관점에서는 “AI가 어떤 데이터에 접근하고 있으며,
임직원이 AI에게 어떤 기업 기밀과 개인정보를 전달하고 있는가”를
완벽히 통제하는 것이 필수적입니다.
프롬프트 단계의 보호를 넘어,
AI가 실행하는 전반적인 작업
(네트워크 접근, 코드 실행, 로그 모니터링 등)에
대한 거버넌스가 필요합니다.
현실적으로 기업이 외부의 초거대 AI 모델 자체의
자율 해킹 로직을 직접 제어하긴 어렵습니다.
하지만 임직원이 개발 및 업무 과정에서 생성형 AI로
민감한 소스코드, 개인정보, 기밀문서를
유출하는 행위는 내부 보안 솔루션을 통해 확실하게 통제할 수 있습니다.
바로 이 지점에서 컴트루테크놀로지의 ‘Sphinx AI(스핑크스 AI DLP)’가 필요해집니다.

생성형 AI 데이터 유출 막는 스핑크스AI DLP 핵심기능
컴트루테크놀로지의 Sphinx AI는 업무 중
생성형 AI 활용 시 발생할 수 있는
정보 유출을 완벽히 차단하는 AI 전용 DLP 솔루션입니다.
개인정보·기밀 실시간 탐지: AI 프롬프트에 입력되는
주민등록번호, 계좌번호, 사내 기밀문서 등을 실시간으로 탐지합니다.
민감정보 차단 및 마스킹: 위험 데이터 발견 시 즉시 차단하거나 가상 데이터로
치환하여 AI 업무 생산성과 보안성을 동시에 확보합니다.
AI 모델 이용 통제: 승인된 AI 서비스만 허용하고,
보안이 검증되지 않은 외부 AI 서비스 사용은 중앙 정책으로 통제합니다.
프롬프트 및 이력 관리: 임직원의 프롬프트 질의 내용과
전송 데이터를 모니터링하고 감사 로그(Audit Log)를 확보합니다.
개발환경 보호: IDE 환경 연동을 통해 소스코드 내 API Key,
DB 접속 정보, 핵심 알고리즘의 유출을 사전에 방지합니다.
문서 속 개인정보와 기밀정보를 지키는 Sphinx AI
더욱이 Sphinx AI는 텍스트 형태의 프롬프트뿐만 아니라,
AI에 업로드되는 문서와 이미지 파일 내 민감 데이터까지
정밀 분석하여 안전하게 보호합니다.
기밀문서 유사도 분석: 사전에 등록한 기밀문서·이미지와
유사한 내용이 입력되거나 업로드될 경우 탐지하여 차단합니다.
문서 내 민감정보 탐지: 문맥 기반 AI 분석을 통해 문서 속
정형·비정형 민감정보를 정확히 판별하고 차단합니다.
첨부문서 업로드 통제: 일반 문서(PDF, Word 등)부터
압축파일(ZIP), 이미지, 문서 내부 삽입 이미지까지
전수 검사해 틈새 유출을 방지합니다.
•핵심 포인트
단순 키워드 일치 방식이 아닌 입력 내용과
문서 전체의 문맥을 통합 분석하므로,
형식이 정해지지 않은 기업의 핵심 자산까지
유연하고 강력하게 보호할 수 있습니다.
서비스 문의
02-396-7005 (503~505)
ask@comtrue.com
Posted by. ComTrue Technologies, Inc.
AI PLATFORM – COMETRUE.AI

