AI 기반 위협 대처
사이버 보안이라는 새로운 AI 시대에서의 복원력 구축
사이버 범죄자들은 AI 도구를 채택하여 공격의 속도, 효율성, 규모, 효과를 높이고 있습니다. 그리고 이러한 새로운 AI 기반 공격은 조직에 매우 실질적인 영향을 미치고 있습니다.
사기성 음성 메일이나 화상 통화가 포함될 수 있는 딥페이크 사기로 인해 수백만 달러의 손실이 발생했습니다. 한 사례에서는 다국적 기업의 CFO의 딥페이크에 재무 담당자가 속아 사기꾼에게 2,500만 달러를 지급했습니다. 한편, AI가 생성한 피싱 공격으로 인해 점점 더 많은 사람이 자격 증명을 공개하게 되고, AI로 강화된 맬웨어는 기존 방어 시스템을 회피하고 있습니다.
AI는 또한 허위 정보 캠페인, 데이터 오염, 모델 조작을 부추겨 잠재적으로 AI 기반 시스템이 손상될 수 있습니다. Gartner는 최근 AI 지원 허위 정보를 최대의 사이버 위험으로 선정했습니다.
사이버 범죄자들이 수익의 더 많은 부분을 새로운 기술에 재투자함에 따라 AI 기반 공격은 점점 더 정교해지는 것을 보게 될 것입니다. 많은 범죄자들이 이미 저비용 공격으로 얻은 이익을 고비용, 고수익 계획을 위한 R&D 자금으로 사용하고 있습니다. 많은 경우 공격자의 예산은 공격 대상 조직의 예산보다 훨씬 더 집중되어 있습니다.
AI가 사이버 보안 환경을 어떻게 변화시키고 있는지 알아보기 위해, 저는 Cloudflare의 미주 지역 현장 CIO인 Khalid Kark, Accenture의 글로벌 데이터 및 AI 보안 실무 리더인 Daniel Kendzior와 이야기를 나눴습니다. 우리는 대부분의 기존 보안 도구가 AI로 강화된 공격에 효과적이지 않다는 데 동의했습니다. 복원력을 강화하려면 조직에서는 보안에 대한 접근 방식을 전환해야 합니다. 조직에서는 수동적인 방어에 의존하는 대신, AI에 맞서기 위해 AI를 활용하는 보다 능동적이고 예방적인 접근 방식 을 취해야 합니다.
AI로 강화된 위협이라는 과제에 맞서기
공격자들이 AI 도구를 계속 채택함에 따라 우리 모두는 더 세련된 버전의 친숙한 소셜 엔지니어링 계획과 대규모 봇 기반 공격에 대비해야 합니다. 한편, 우리는 새로운 유형의 신원 사기를 포함하여 다양하고 새로운 수법을 보게 될 가능성이 높습니다. 조직 전반에서 이러한 변화에 대한 인식을 높이는 것은 더 강력한 보안을 구축하는 데 필수적입니다.
발전된 소셜 엔지니어링
변하지 않는 것도 있습니다. 공격자에게 소셜 엔지니어링은 여전히 가장 쉽고 저렴한 전술입니다. 이 전술은 아주 성공적이기도 했습니다. Verizon의 보고서에 따르면 유출의 68%가 인적 오류로 인해 발생하며, 이러한 오류 중 상당수는 피싱 사기와 같은 소셜 엔지니어링과 관련이 있습니다.
하지만 공격의 정교함과 일관성이 증가하고 있습니다. 공격자는 생성형 AI(GenAI)를 사용하여 사기성 메시지로 간주될 수 있는 철자나 문법 오류가 없는 등 더욱 설득력 있는 피싱 이메일을 작성합니다.
동시에 AI를 사용하여 딥페이크를 생성하는 공격자도 점점 더 많아지고 있습니다. 직원은 실제로 AI 모델에 의해 생성 되었지만, 관리자가 보낸 것처럼 들리는 음성 메일을 받을 수 있습니다. 직원은 속아서 자격 증명을 공유하거나 거래를 승인하거나 민감한 데이터를 노출할 수 있습니다. 그리고 AI를 사용하면 공격자는 몇 초 안에 이러한 딥페이크 메시지를 만들 수 있습니다.
안타깝게도 이러한 공격에 취약하게 만드는 인지적 편향과 싸우는 것은 아주 어렵습니다. 우리는 모두 정보를 처리하고 해석할 때 오류를 범합니다. 예를 들어, 우리는 기존의 믿음이 확인되는 정보를 선호하고 그렇지 않은 정보는 무시하는 경향이 있습니다. 이러한 확인 편향 때문에 딥페이크에 속아 넘어갈 가능성이 높아집니다. 관리자가 보낸 것처럼 들리는 음성 메시지를 받으면 그 메시지가 사실이라고 믿는 경향이 있습니다.
합성 신원 사기
공격자는 직원을 속일 수 있도록 더 나은 피싱 이메일과 딥페이크를 만드는 것 외에도 AI를 사용하여 새로운 신원을 만들고 있습니다. 합성 신원 사기(SIF)는 실제 데이터와 가짜 데이터를 혼합하여 극도로 현실적인 신원을 생성해 전통적인 검증 시스템을 우회하는 방식입니다. AI가 생성한 개인 정보와 자동화된 자격 증명 스터핑으로 인해 이러한 신원을 감지하기가 점점 더 어려워지고 있습니다.
사기성 신원은 금융 서비스, 의료, 정부 등 집중적인 표적이 되는 산업에 큰 위험을 초래합니다. SIF는 즉각적인 피해자가 없는 경우가 많으므로 눈에 띄지 않는 경우가 많습니다. 따라서 사기꾼은 신용 기록을 쌓고 사기에 성공할 수 있습니다.
대규모 봇 기반 공격
봇은 실제 해를 끼칠 가능성이 있는 또 다른 유형의 인간 대체물입니다. 2025 Cloudflare Signals 보고서에 따르면, 2024년 Cloudflare에서 관찰한 모든 애플리케이션 트래픽의 28%가 봇으로 인해 발생했으며, 이 비율은 이전 4년 동안 대부분 꾸준히 유지되었습니다. 봇은 검색 엔진 인덱싱이나 가용성 모니터링과 같은 합법적인 용도로 사용될 수 있지만, 대부분의 봇(Cloudflare 트래픽 분석에 따르면 93%)은 확인되지 않았으며 잠재적으로 악의적입니다.
AI 기반 봇을 통해 공격자는 전례 없는 효율성으로 대규모 자동화 공격을 시작할 수 있습니다. Cloudflare에서는 이전 공격보다 200배 더 많은 웹 사이트 조회수를 생성할 수 있는 AI 기반 봇을 확인하고 있습니다. 봇은 대규모 분산 서비스 거부(DDoS) 공격을 개시할 뿐만 아니라, 중요한 데이터 및 지적 재산을 스크래핑하고, 자격 증명 스터핑을 수행하며, 기계의 속도로 사기를 실행하는 데에도 사용됩니다. AI 모델은 기존 캡차를 우회하고 적응형 행동으로 감지를 회피함으로써 이러한 기능을 훨씬 더 강화합니다.
그렇다면 문제는 좋은 것과 나쁜 것을 분리하고 나쁜 것을 차단하는 것입니다.
AI 위협 방어
AI를 기반으로 한 위협에 앞서 나가려면 보안에 대한 사전 예방적이고 AI를 강화한 접근 방식이 필요합니다. Khalid Kark 및 Daniel Kendzior와의 대화에서, 우리는 새롭게 떠오르는 이러한 위협을 방어하기 위해 보안 태세를 강화할 수 있는 7가지 방법을 다뤘습니다.
관찰 가능성을 높입니다.
“많은 벤더가 AI를 고급 장식처럼 모든 것에 추가하고 있습니다”라고 Kendzior는 이야기합니다. 여러분이 이미 사용하고 있을 수 있는 소프트웨어에도 AI가 적용되고 있습니다. 이러한 AI 기능이 모두 도움이 되는 것은 아니며, 일부 AI 기능은 새로운 취약점을 초래할 수 있습니다. AI 관련 위험을 최소화하려면 우리는 모두 소프트웨어 구매 방식을 조정해야 하며, AI가 통합된 위치를 더 잘 볼 수 있어야 합니다.
동시에, 조직 내에서 AI 사용에 대한 가시성을 높이는 것이 더욱 중요해질 것입니다. 조직에는 일반적으로 카탈로그에 등록한 것보다 약 33% 더 많은 API가 있다는 점을 고려하세요. 그리고 카탈로그화되지 않은 API는 잠재적인 공격 벡터가 될 수 있습니다. 마찬가지로 조직 전체에서 AI가 어디에서 어떻게 사용되고 있는지 모르는 경우가 많지만, 이러한 AI 도구 인스턴스 각각에 노출될 수 있습니다.
로그, 분석, 경고, 포렌식을 통합할 수 있는 플랫폼을 구현함으로써 우리는 이 데이터에 AI 기능을 적용하여 위험을 식별하고 근본 원인을 정확히 찾아낼 수 있습니다.위협을 실시간으로 감지하고 무력화합니다.
공격자가 AI를 사용하여 위협의 속도와 양을 늘리고 있으므로 우리도 이에 발맞출 방법이 필요합니다. 다행히 AI는 사이버 보안을 강화하는 데 도움이 될 수 있습니다. 예를 들어, AI는 방대한 데이터 세트를 분석하고 위협을 나타낼 수 있는 이상 징후를 식별할 수 있습니다. 그런 다음 AI 도구가 위협에 대한 대응을 자동화하여 실시간으로 문제를 해결할 수 있습니다.
액세스 패턴, 권한 상승, 데이터 유출 시도 등 직원 사용자 행동을 분석하면 기준선을 설정하고 내부자 위협을 가리킬 수 있는 이상을 감지하는 데 도움이 될 수 있습니다. 이러한 AI 지원 기능을 통해 내부자 위험이 확대되기 전에 발견할 수 있습니다.AI로 강화된 피싱 및 딥페이크로부터 보호합니다.
공격자가 피싱을 개선하고 딥페이크를 생성하기 위해 AI를 채택함에 따라, 우리는 더 정교한 제어 수단과 정책을 마련해야 하며, 여기에는 우리의 편향과 오류에 대처하는 데 도움이 되는 제어 수단과 정책이 포함됩니다. 관리자가 직원에게 특정 계좌로 돈을 이체하라고 지시하는 것으로 보이는 문자를 직원이 받았다고 가정해 보겠습니다. 첫째, 특정 역할의 직원 이 송금을 실행하지 못하도록 하는 정책을 마련하면 피해를 막을 수 있습니다. 그 정책에는 어떤 것이든 실행되기 전에 여러 번 검사할 수 있도록 하는 프로세스 제어도 포함되어야 합니다.ID 관리를 개선합니다.
ID 관리는 항상 어려웠지만, AI로 인해 훨씬 더 어려워졌습니다. “신규 고객과 직원을 대상으로 원격 등록을 사용하는 클라이언트가 있었습니다. 딥페이크가 만연하는 이 세상에서는 진짜 사람을 상대하고 있는지 의심해봐야 합니다”라고 Kendzior는 이야기합니다.
Zero Trust 보안은 ID 관리를 개선하는 데 핵심적인 역할을 합니다. 적절한 Zero Trust 솔루션을 사용하면 조직에서는 권한이 없는 개인과 AI 봇이 기업 리소스에 액세스하는 것을 방지하는 동시에 승인된 사람의 액세스를 간소화할 수 있습니다.나쁜 봇을 식별하고 차단합니다. 봇 관리 기능에 따라 좋은 봇과 나쁜 봇을 구분할 수 있습니다. 그런 다음 나쁜 봇이 데이터를 스크래핑하거나 콘텐츠를 훔치거나 웹 사이트 성능을 저하시키는 것을 방지할 수 있습니다.
인적 요소를 해결합니다. 사이버 보안 위협에 대응하기 위한 기술 계층은 항상 존재할 것입니다. 하지만 AI로 강화된 위협을 차단하려면 행동 교육도 필요합니다. 우리는 직원들에게 다가오는 피싱 시도, 딥페이크, 기타 AI 강화 공격에 대해 교육하여 그들이 받는 메시지에 대해 더 의심해 볼 수 있도록 해야 합니다.
조직에서는 단순히 인식력이 뛰어난 직원을 양성하는 데 그치지 않고 더 나은 디지털 시민을 양성하기 위해 노력해야 합니다. 이러한 AI 기반 시도는 근무일이 끝난 후에도 사람들에게 도달할 수 있기 때문입니다. 예를 들어, 긴급하게 차량 통행료를 지불해야 한다는 문자 메시지를 직원이 받을 수 있습니다. 이러한 링크를 실수로 클릭하거나 공격자에게 돈을 지불하는 경우, 실수로 고용주에게 영향을 미칠 수 있는 미래의 공격에 자금을 지원하게 됩니다.파트너와 협업합니다. AI는 사이버 범죄가 더 큰 비즈니스가 되는 데 도움을 주고 있습니다. 우리는 더 이상 개별 해커와 싸우는 것이 아닙니다. 우리는 AI로 강화된 최신 사이버 보안 기능을 채택하는 것과 더불어 조직적인 공격자로부터 스스로를 더 잘 보호할 수 있도록 제휴를 확대해야 합니다. 파트너와 더 많이 협력할수록 더 방어를 잘 할 수 있게 됩니다.
지능적이고 확장 가능한 보호 적용
AI를 기반으로 한 위협의 수, 규모, 정교함은 계속 증가할 것입니다. 그리고 피싱 시도나 데이터 유출이 성 공할 때마다 사이버 범죄자들은 이익을 더욱 발전된 기술에 재투자하게 됩니다. 많은 조직에서는 AI를 기반으로 하는 이 새로운 시대에 대비하여 방어 체계를 대폭 개편해야 하며, 지금 바로 시작해야 합니다.
Cloudflare의 클라우드 연결성은 AI 기반 위협으로부터 조직을 보호하는 데 도움이 되는 도구와 서비스를 점점 더 다양하게 제공합니다. Cloudflare AI Gateway는 AI 애플리케이션의 비용, 사용량, 대기 시간, 전반적인 성능에 대한 가시성을 제공합니다. 또한 AI용 방화벽을 사용하면 대규모 언어 모델(LLM)로 구동되는 애플리케이션을 남용으로부터 보호할 수 있습니다. 이러한 도구는 Cloudflare의 클라우드 네이티브 보안 서비스로 구성된 심층적인 포트폴리오와 함께 작동하여 더 크고 정교한 AI 기반 위협에 대한 방어를 확장할 수 있도록 지원합니다.
이 글은 오늘날의 기술 의사 결정자에게 영향을 미치는 최신 동향 및 주제에 대한 시리즈 중 일부입니다.
이 주제에 관해 자세히 알아보세요.
2025년 Cloudflare Signals 보고서: 대규모 복원력에서 복원력 개선을 위한 전환이 필요한 AI 기반 위협 및 기타 동향에 대해 자세히 알아보세요.
작성자
Mike Hamilton — @mike-hamilton-us
Cloudflare CIO
핵심 사항
이 글을 읽고 나면 다음을 이해할 수 있습니다.
사이버 범죄자가 AI를 사용하여 공격을 강화하는 방법
오늘날 가장 일반적으로 사용되는 3가지 전술
AI 기반 위협에 대한 보안을 강화하는 7가지 방법