AI 해킹 시대 핵심 정리: 공격 비용은 0원에 가까워지고, 모든 기업이 사이버 공격 대상이 된다
이번 글에서 꼭 봐야 할 핵심은 세 가지입니다.
첫째, AI 때문에 해커의 공격 비용이 거의 0에 가까워지면서 대기업뿐 아니라 중소기업, 병원, 대학, 개인까지 모두 공격 대상이 되고 있다는 점입니다.
둘째, AI 에이전트가 코딩, 업무 자동화, 파일 접근, API 사용까지 맡게 되면서 “항상 허용” 버튼 하나가 기업 리스크 관리의 가장 큰 구멍이 될 수 있다는 점입니다.
셋째, 앞으로 사이버보안 투자는 단순한 IT 비용이 아니라 글로벌 경제전망, 디지털 전환, AI 반도체 수요, 기업 밸류에이션까지 연결되는 핵심 변수로 바뀌고 있다는 점입니다.
박세준 티오리 대표가 설명한 내용을 기준으로 보면, 이제 보안의 본질은 “해커를 막는다”가 아니라 “AI 속도로 움직이는 공격을 AI 속도로 탐지하고 차단할 수 있느냐”로 바뀌고 있습니다.
쉽게 말해, 예전에는 도둑이 직접 동네를 돌아다니며 열린 문을 찾았다면, 이제는 AI 드론 1,000대를 동시에 띄워 전국의 열린 문을 자동으로 찾는 시대가 온 겁니다.
1. 허깅페이스 해킹 논란의 진실: AI가 막은 게 아니라, AI가 사고 조사를 도왔다
최근 허깅페이스 관련 보안 사고에서 “AI가 해킹을 막았다”는 식의 이야기가 외신과 커뮤니티를 통해 퍼졌습니다.
하지만 박세준 대표의 설명에 따르면, 정확히는 AI가 실시간으로 공격을 막은 것이 아니라 사고 조사 과정에서 AI가 적극적으로 활용된 사례에 가깝습니다.
보안 사고가 발생하면 기업은 어떤 경로로 침해가 일어났는지, 어떤 코드가 실행됐는지, 어떤 데이터가 노출됐는지, 공격자가 어디까지 접근했는지를 분석해야 합니다.
이 과정을 보안 업계에서는 침해 사고 조사라고 부릅니다.
문제는 AI 에이전트나 자동화된 공격 도구가 관여하면 공격 코드가 난독화되어 있거나, 외부 서비스를 거쳐 우회되거나, 페이로드가 복잡하게 숨겨져 있을 수 있다는 점입니다.
사람이 이걸 하나하나 복호화하고 로그를 분석하면 시간이 오래 걸립니다.
그런데 AI 모델을 활용하면 로그 분석, 공격 코드 해석, 페이로드 구조 파악, 침해 경로 추적을 훨씬 빠르게 할 수 있습니다.
즉, 이번 사례의 핵심은 “AI가 방화벽처럼 공격을 차단했다”가 아니라 “AI가 보안 전문가의 조사 시간을 크게 줄였다”는 것입니다.
2. 왜 중국 오픈 모델 GLM이 주목받았나: 미국 모델은 거절했고, 오픈 모델은 분석을 도왔다
허깅페이스 팀은 사고 조사 과정에서 GPT, Claude 같은 주요 AI 모델을 활용하려 했던 것으로 알려졌습니다.
하지만 보안 관련 코드, 악성코드로 보일 수 있는 페이로드, 공격 로그 등을 입력하자 모델들이 답변을 거절하는 상황이 발생했습니다.
이유는 간단합니다.
AI 기업 입장에서는 사용자가 보안 방어를 위해 묻는지, 실제 해킹 공격을 위해 묻는지 구분하기 어렵기 때문입니다.
화이트해커와 블랙해커는 사용하는 기술 자체가 거의 같습니다.
차이는 의도와 윤리입니다.
그래서 미국 빅테크 AI 모델들은 사이버보안 관련 요청에 대해 보수적으로 반응하는 경우가 많습니다.
반면 허깅페이스는 자체적으로 보유한 GPU 인프라 위에 오픈웨이트 모델인 GLM 계열 모델을 로컬에서 실행했고, 이를 통해 로그와 공격 흔적을 분석하는 데 도움을 받았습니다.
이 때문에 외부에서는 “미국 모델이 공격했고, 중국 모델이 막았다”는 프레임이 만들어졌습니다.
하지만 더 정확한 표현은 “중국 오픈 모델이 사고 조사에 유용하게 쓰였다”입니다.
이 지점은 AI 보안 시장에서 매우 중요한 논쟁으로 이어집니다.
폐쇄형 AI 모델은 안전장치가 강하지만 방어자도 막힐 수 있고, 오픈 모델은 유연하지만 공격자도 쉽게 악용할 수 있습니다.
앞으로 사이버보안 투자와 AI 인프라 전략에서 이 균형이 굉장히 중요한 이슈가 될 가능성이 큽니다.
3. AI 해킹의 가장 큰 변화: 해커의 ROI 공식이 완전히 바뀌었다
박세준 대표가 가장 강조한 부분은 해커도 결국 경제적 판단을 한다는 점입니다.
해커가 공격을 할 때도 시간, 인력, 도구, 서버, 위험 비용이 들어갑니다.
그래서 예전에는 공격자도 ROI를 계산했습니다.
어떤 기업을 공격했을 때 얻을 수 있는 정보나 돈이 공격 비용보다 크면 공격하고, 그렇지 않으면 그냥 지나쳤습니다.
즉, 많은 기업이 안전해서 공격을 안 당한 것이 아니라, 공격자가 굳이 그 기업까지 공격할 리소스가 없었기 때문에 살아남은 경우가 많았습니다.
그런데 AI가 이 공식을 뒤집고 있습니다.
잘 만든 AI 해킹 에이전트 하나를 복사해 1,000개, 10,000개로 늘리는 것은 사람 해커 1,000명을 양성하는 것과 비교할 수 없을 정도로 쉽습니다.
공격 비용이 거의 0에 가까워지면, 공격자는 더 이상 대상을 고를 필요가 없습니다.
대기업, 중소기업, 쇼핑몰, 병원, 대학교, 지방 기관, 개인 블로그, IoT 기기까지 모두 자동 스캔 대상이 됩니다.
이게 바로 “해킹 비용은 0에 수렴하고, 해킹 대상은 무한대 증식한다”는 말의 의미입니다.
경제적으로 보면 사이버 공격의 한계비용이 급락하고 있는 겁니다.
이 변화는 글로벌 경제전망에서도 중요한 의미가 있습니다.
앞으로 기업의 디지털 전환 속도가 빨라질수록 공격 표면은 넓어지고, 사이버보안 비용은 선택이 아니라 생존 비용이 됩니다.
4. 사람과 AI가 함께 공격하는 시대: 가장 위험한 건 ‘악의적인 인간 + 강력한 AI 에이전트’ 조합
AI가 스스로 의도를 가지고 세상을 공격한다는 시나리오는 아직 영화에 가깝습니다.
하지만 악의적인 사람이 강력한 AI 에이전트를 이용해 공격하는 상황은 이미 현실적인 위협입니다.
예전에는 숙련된 해커가 직접 취약점을 찾고, 코드를 분석하고, 공격 경로를 설계해야 했습니다.
이제는 AI 에이전트가 취약점 분석, 코드 작성, 자동 스캔, 피싱 문구 생성, 권한 탈취 시도, 로그 분석까지 도와줄 수 있습니다.
공격자의 생산성이 폭발적으로 올라갑니다.
방어자 입장에서도 마찬가지입니다.
사람만으로는 AI가 만들어내는 코드, 서비스, API, 클라우드 인프라, 에이전트 행동을 전부 검증할 수 없습니다.
결국 공격도 AI와 사람이 함께하고, 방어도 AI와 사람이 함께하는 구조로 갈 가능성이 큽니다.
여기서 기업의 경쟁력은 “AI를 얼마나 많이 쓰느냐”가 아니라 “AI를 안전하게 통제하면서 쓰느냐”로 갈립니다.
5. AI 에이전트 권한 통제: 최소 권한 원칙이 다시 핵심이 된다
AI 에이전트 시대에 가장 중요한 보안 원칙은 최소 권한입니다.
최소 권한이란 어떤 사람이나 시스템, AI 에이전트에게 꼭 필요한 권한만 주는 방식입니다.
이 원칙은 수십 년 전부터 보안 업계에서 강조되어 왔지만, AI 시대에는 훨씬 더 중요해졌습니다.
예전에는 직원에게 권한을 조금 넓게 줘도 사람이 모든 권한을 다 활용하지 못하는 경우가 많았습니다.
하지만 AI는 주어진 권한을 굉장히 효율적으로 끝까지 활용할 수 있습니다.
좋게 쓰면 생산성 혁신이고, 나쁘게 쓰이면 대규모 사고입니다.
예를 들어 AI 에이전트가 파일 시스템 전체 접근 권한, 클라우드 관리자 권한, 데이터베이스 접근 권한, 외부 전송 권한을 동시에 가지고 있다면 문제가 생겼을 때 피해 범위가 엄청나게 커질 수 있습니다.
그래서 앞으로 기업은 AI 에이전트에게 임시 권한, 짧은 수명의 인증 정보, 작업 단위별 권한을 부여해야 합니다.
이를 보안 업계에서는 논휴먼 아이덴티티 관리라고 부르기도 합니다.
쉽게 말하면 사람이 아닌 AI 에이전트, 봇, 자동화 스크립트, 서비스 계정의 신원을 관리하는 체계입니다.
AI가 기업 업무에 깊숙이 들어올수록 이 영역은 사이버보안 투자에서 핵심 시장이 될 가능성이 큽니다.
6. ‘항상 허용’ 버튼의 위험: 편리함이 보안 사고로 바뀌는 순간
요즘 Claude Code, Cursor, Copilot류의 AI 개발 도구를 쓰다 보면 특정 폴더 접근, 명령어 실행, 파일 수정, API 호출을 허용할지 묻는 경우가 많습니다.
처음에는 하나하나 물어보지만 사용자는 곧 불편함을 느낍니다.
그래서 “항상 허용” 또는 권한 무시 옵션을 켜게 됩니다.
문제는 여기서 시작됩니다.
AI가 특정 프로젝트 폴더만 봐야 하는데 C드라이브 전체를 스캔할 수 있습니다.
API 키를 대화창에 넣었는데 다른 작업 맥락에서 재사용될 수 있습니다.
로컬 파일을 정리하다가 중요한 코드나 데이터베이스를 삭제할 수도 있습니다.
실제로 해외에서는 AI 코딩 도구가 기업 코드를 날려버리거나 데이터베이스를 삭제한 사례들이 언급되고 있습니다.
AI가 악의적으로 행동해서가 아닐 수 있습니다.
그냥 “정리해야겠네요”라고 판단한 뒤 삭제했을 뿐인데, 결과는 사고가 됩니다.
AI는 기본적으로 확률적 토큰 생성기입니다.
같은 질문에도 매번 조금씩 다른 답을 할 수 있고, 대부분 잘하다가도 한 번 엉뚱한 판단을 할 수 있습니다.
그래서 중요한 자산을 다루는 환경에서는 귀찮더라도 권한 분리, 작업 폴더 제한, API 키 분리, 테스트 환경 격리, 승인 절차가 필요합니다.
보안성과 사용성은 늘 충돌합니다.
하지만 기업 리스크 관리 관점에서는 편리함보다 통제가 우선되는 영역이 반드시 있어야 합니다.
7. AI 시대 보안의 3대 원칙: 기본 보안, 상시 검증, 기계 속도 대응
박세준 대표는 AI 시대의 보안 원칙을 크게 세 가지로 정리했습니다.
첫 번째는 기본 보안입니다.
대부분의 대형 해킹 사고는 외계 기술 같은 초고난도 공격으로만 발생하지 않습니다.
과도한 권한, 오래된 인증 정보, 회수되지 않은 키, 접근 가능한 메타데이터, 패치되지 않은 취약점, 잘못 설정된 클라우드 권한 같은 기본적인 문제에서 시작되는 경우가 많습니다.
AI 시대에도 방화벽, 접근 제어, 인증 관리, 네트워크 분리, 로그 모니터링 같은 전통적인 보안 기법은 더 중요해집니다.
두 번째는 공격자 관점의 상시 검증입니다.
기업이 “우리는 잘 막았다”고 생각해도 공격자는 전혀 다른 관점에서 봅니다.
신문 투입구로 문을 여는 것처럼, 원래 의도하지 않았던 작은 구멍이 공격 경로가 될 수 있습니다.
그래서 1년에 한두 번 모의해킹을 받는 것만으로는 부족합니다.
코드가 바뀔 때마다, 인프라가 바뀔 때마다, API가 추가될 때마다 자동으로 취약점을 검증해야 합니다.
세 번째는 발견부터 조치까지의 시간을 기계 속도로 줄이는 것입니다.
AI 공격은 몇 초, 몇 분 안에 진행될 수 있습니다.
사람이 “어? 뭔가 이상한데?”라고 느꼈을 때는 이미 데이터가 빠져나간 뒤일 수 있습니다.
앞으로 보안 경쟁력은 탐지 속도, 차단 속도, 격리 속도, 복구 속도에서 갈립니다.
8. 왜 취약점을 고치는 일이 더 어려운가: 공격보다 패치가 어려운 이유
많은 분들이 “AI가 취약점을 찾을 수 있으면, 고치는 것도 자동으로 하면 되는 것 아닌가?”라고 생각할 수 있습니다.
하지만 실제로는 패치가 공격보다 훨씬 어렵습니다.
취약점 탐지는 10개 중 7개만 찾아도 기업의 위험을 크게 낮출 수 있습니다.
물론 3개를 놓치면 위험은 남지만, 그래도 전반적인 방어 수준은 올라갑니다.
반면 패치는 10개 중 2개만 잘못 고쳐도 서비스 장애가 날 수 있습니다.
취약점은 고쳤는데 결제 시스템이 멈추거나, 고객 데이터베이스가 깨지거나, 서비스가 다운되면 더 큰 사고가 됩니다.
그래서 자동 패치는 높은 정확도와 안정성이 필요합니다.
AI 보안의 다음 단계가 완전 자동화라고 해도, 실제 기업 환경에서는 책임 소재와 장애 리스크 때문에 신중하게 도입될 수밖에 없습니다.
이 지점이 보안 자동화 기업들에게는 큰 시장 기회이자 기술적 난제입니다.
9. 개인정보 유출의 진짜 위험: 2차, 3차 피해가 훨씬 크다
어떤 대학이나 병원, 쇼핑몰이 해킹됐다는 뉴스를 보면 “거기 털어서 뭐가 나오나?”라고 생각하는 분들이 있습니다.
하지만 개인정보 유출은 그 자체보다 이후 확산되는 2차, 3차 피해가 더 위험합니다.
대표적인 공격이 크리덴셜 스터핑입니다.
한 사이트에서 유출된 아이디와 비밀번호 조합을 다른 사이트에 자동으로 대입해보는 방식입니다.
많은 사람들이 여러 서비스에서 같은 비밀번호를 사용하기 때문에, 대학 사이트 하나가 털렸는데 이메일, 쇼핑몰, 증권 계좌, 은행 서비스까지 위험해질 수 있습니다.
또 하나는 개인화된 피싱 공격입니다.
병원 정보가 유출됐다면 “지난주 진료 결과가 나왔습니다”라는 문자를 보낼 수 있습니다.
대학교 정보가 유출됐다면 “장학금 신청 확인”, “취업 추천서 제출”, “등록금 환급 안내” 같은 메시지를 보낼 수 있습니다.
이런 메시지는 일반적인 스팸보다 훨씬 잘 속습니다.
AI가 결합되면 피싱 문구도 더 자연스럽고 개인화됩니다.
그래서 개인정보 유출은 단순한 정보 사고가 아니라 금융 피해, 신분 도용, 랜섬웨어, 계정 탈취로 이어질 수 있습니다.
10. 기업이 지금 당장 점검해야 할 보안 체크리스트
1. AI 에이전트 권한을 최소화해야 합니다.
프로젝트 폴더, 데이터베이스, 클라우드 리소스, 외부 API 접근 권한을 업무 단위로 제한해야 합니다.
2. API 키와 인증 정보의 수명을 짧게 가져가야 합니다.
한 번 발급한 키를 몇 년씩 쓰는 구조는 AI 시대에 매우 위험합니다.
3. 외부로 나가는 트래픽을 통제해야 합니다.
서버가 외부 데이터를 받아올 필요는 있어도 내부 데이터를 외부로 보낼 이유가 없다면 이그레스 제어를 해야 합니다.
4. 강제 중단 경로를 만들어야 합니다.
공격이 감지됐을 때 네트워크, 에이전트, 서비스 계정, API 접근을 빠르게 끊을 수 있어야 합니다.
실제로 물리적으로 선을 뽑는 방식이 큰 피해를 막은 사례도 있습니다.
5. 코드 배포 전후로 자동 보안 검증을 해야 합니다.
AI가 코드를 더 많이 만들수록, AI가 만든 코드의 취약점도 함께 늘어날 수 있습니다.
6. 직원 계정과 AI 계정을 분리해야 합니다.
AI가 사람 계정을 그대로 대신 쓰면 사고 발생 시 추적과 통제가 어렵습니다.
7. 개인정보 유출 시 비밀번호 재사용 여부를 즉시 점검해야 합니다.
개인 사용자도 주요 서비스의 비밀번호를 다르게 설정하고, 가능하면 패스키나 2단계 인증을 사용해야 합니다.
11. 다른 뉴스에서 잘 말하지 않는 가장 중요한 포인트
첫째, AI 보안의 핵심은 공격 기술이 아니라 경제 구조의 변화입니다.
해커의 공격 비용이 낮아지면 기존에는 무시됐던 작은 기업도 모두 공격 대상이 됩니다.
이건 단순한 기술 이슈가 아니라 기업 비용 구조와 보험료, 보안 예산, 투자 리스크를 바꾸는 경제 이슈입니다.
둘째, 방어자가 AI를 못 쓰게 막는 규제가 오히려 위험할 수 있습니다.
공격자는 어떻게든 오픈 모델이나 우회 경로를 찾아 씁니다.
그런데 방어자만 강력한 모델을 못 쓰면 방어 역량이 떨어집니다.
그래서 앞으로는 신뢰할 수 있는 보안 조직에 강력한 AI 모델 접근을 허용하는 트러스트 액세스 구조가 중요해질 수 있습니다.
셋째, AI 에이전트 보안은 앞으로 클라우드 보안만큼 큰 시장이 될 가능성이 큽니다.
사람 계정보다 AI 계정, 봇 계정, 자동화 계정이 더 많아지는 시대가 오고 있습니다.
논휴먼 아이덴티티 관리는 사이버보안 투자에서 핵심 테마가 될 수 있습니다.
넷째, 보안 기업의 성장성은 AI 반도체 수요와도 연결됩니다.
AI 기반 보안 분석, 자동 모의해킹, 로그 분석, 침해 대응 자동화는 대규모 연산 자원을 필요로 합니다.
결국 AI 반도체, 클라우드 인프라, 보안 소프트웨어가 하나의 투자 테마로 묶일 가능성이 있습니다.
다섯째, 앞으로 기업 밸류에이션에서 보안 성숙도가 더 중요해질 수 있습니다.
AI 시대에는 데이터 유출 한 번이 신뢰, 주가, 규제 벌금, 고객 이탈로 바로 연결됩니다.
보안을 잘하는 기업은 비용을 쓰는 기업이 아니라 리스크 프리미엄을 낮추는 기업으로 평가받을 수 있습니다.
12. AI 보안 시장의 다음 단계: 완전 자동화와 책임 소재의 충돌
AI 보안의 다음 단계는 결국 완전 자동화입니다.
취약점 발견, 우선순위 선정, 패치 생성, 테스트, 재검증, 배포까지 AI가 이어서 처리하는 구조입니다.
기술적으로는 가능한 영역이 점점 넓어지고 있습니다.
하지만 가장 큰 병목은 책임 소재입니다.
AI가 자동으로 코드를 고쳤는데 장애가 나면 누구 책임일까요?
AI 모델을 만든 회사의 책임일까요?
그 AI 보안 솔루션을 도입한 기업의 책임일까요?
승인한 담당자의 책임일까요?
이 문제가 정리되기 전까지는 사람이 최종 승인자로 남을 가능성이 큽니다.
다만 시간이 지나면서 법, 제도, 보험, 계약 구조가 정리되면 보안 자동화는 빠르게 확산될 수 있습니다.
초기에는 시행착오가 있겠지만, 장기적으로는 사람이 수동으로 보안 패치를 하던 시대를 이상하게 느끼는 순간이 올 수 있습니다.
13. AI가 만든 코드는 안전한가: 학습 데이터 자체가 취약할 수 있다
AI 코딩 에이전트는 기존의 수많은 코드 데이터를 학습해 코드를 만듭니다.
문제는 인터넷과 오픈소스에 존재하는 많은 코드가 완벽하게 안전하지 않다는 점입니다.
취약한 코드, 오래된 패턴, 잘못된 인증 처리, 부실한 입력 검증 방식이 학습 데이터에 포함되어 있을 수 있습니다.
그러면 AI가 만든 코드에도 자연스럽게 비슷한 실수가 묻어나올 수 있습니다.
그래서 앞으로의 방향은 AI가 처음부터 완벽한 코드를 만드는 것보다, 생성된 코드를 즉시 검증하고 수정해 안전한 형태로 내보내는 방식이 될 가능성이 큽니다.
장기적으로는 안전하게 정제된 코드 데이터셋으로 AI를 다시 학습시키는 방향도 중요해질 수 있습니다.
이 흐름은 AI 개발 도구 기업, 보안 기업, 클라우드 기업 모두에게 중요한 경쟁 포인트입니다.
14. 투자 관점에서 보는 AI 사이버보안 트렌드
AI 해킹 시대는 단순히 보안 담당자만의 문제가 아닙니다.
투자자 입장에서도 사이버보안은 중요한 성장 산업입니다.
디지털 전환이 진행될수록 기업의 데이터, 결제, 고객 관리, 공급망, 제조 설비가 모두 네트워크에 연결됩니다.
AI 에이전트가 확산될수록 자동화 계정과 API 호출은 늘어납니다.
공격 표면이 커지는 만큼 보안 수요도 커집니다.
특히 AI 기반 침해 탐지, 클라우드 보안, 계정 권한 관리, 데이터 유출 방지, 자동 모의해킹, 보안 로그 분석, AI 코드 보안 영역은 앞으로 주목할 필요가 있습니다.
글로벌 경제전망이 불확실한 상황에서도 기업들이 줄이기 어려운 예산이 바로 보안 예산입니다.
사고가 발생하면 비용 절감 효과보다 피해 비용이 훨씬 크기 때문입니다.
이런 구조 때문에 사이버보안 산업은 경기 방어적 성격과 성장 산업 성격을 동시에 가질 수 있습니다.
< Summary >
AI 시대에는 해커의 공격 비용이 거의 0에 가까워지면서 모든 기업과 개인이 공격 대상이 됩니다.
허깅페이스 사례에서 AI는 실시간 방어보다 사고 조사와 로그 분석에 유용하게 쓰였습니다.
AI 에이전트는 생산성을 높이지만, 과도한 권한과 “항상 허용” 설정은 심각한 보안 사고로 이어질 수 있습니다.
기업은 최소 권한, 짧은 인증 정보 수명, 외부 전송 통제, 강제 차단 경로, 자동 보안 검증을 준비해야 합니다.
앞으로 사이버보안은 IT 비용이 아니라 기업 리스크 관리와 투자 가치 평가의 핵심 요소가 될 가능성이 큽니다.
AI 보안의 다음 단계는 완전 자동화지만, 패치 장애와 책임 소재 문제가 가장 큰 병목입니다.
결국 AI 공격을 막는 유일한 방법은 AI 속도로 탐지하고, AI 속도로 검증하고, AI 속도로 대응하는 체계를 갖추는 것입니다.
