“생성형 AI 프롬프트 13개 중 1개에 민감 데이터 포함”
[데이터넷] AI 발전 속도가 예측하기 어려울정도로 높아지고 있지만, 보안 문제 해결은 뒷전으로 미루고 있다. 모든 기술은 보안을 내재화해야 한다는 것에 이의를 제기할 사람은 없지만, 보안 때문에 기술 발전의 속도를 늦춰서는 안된다는 주장이 더 힘을 얻기 때문이다. 보안 부채를 관리하면서 AI를 사용할 수 있는 방법을 알아본다.<편집자>
세계경제포럼(WEF) 창립자이자 회장인 클라우스 슈밥(Klaus Schwab)은 2016년 ‘4차 산업혁명(The Fourth Industrial Revolution)’이라는 책을 통해 “기술이 물리적, 디지털, 생물학적 영역의 경계를 허물며 융합되는 시대”를 주장했다. AI, 로봇, IoT 등의 핵심 기술을 설명하면서 “기술의 속도, 범위, 시스템의 영향 측면에서 전례없는 변화를 가져올 것”이라고 강조했다.
그로부터 9년이 지난 현재, 그야말로 ‘전례없는 변화’를 실감하고 있다. AI를 중심으로 진행되는 변화의 속도는 전문가도 따라가기 버거울 정도다. 모든 것에 AI가 적용되는 것은 기본이며, AI가 스스로 판단하고 행동하는 ‘에이전틱 AI’가 실 사용사례를 만들어내고 있다. 사람과 같거나 혹은 사람을 뛰어넘는 일반인공지능(AGI)도 멀지 않은 미래로 다가왔다.
기술부채 쌓이는 AI
기술이 너무 빠르게 발전하면 ‘기술부채(Technical Debt)’가 쌓인다. 기술부채는 소프트웨어 개발에서 사용되는 용어인데, 촉박한 개발 기한을 맞추기 위해 완벽하지 않은 코드를 작성하거나 충분히 테스트하지 않고 개발하고, 문제 해결을 다음으로 미루는 것이다.
개발 당시 해결하지 못한 문제를 나중에 해결하려면 더 많은 시간과 비용이 든다. 그러나 시장 진출 시간을 단축시키거나, 새로운 기술과 도구를 빠르게 학습해 사용해야 할 필요가 있을 때, 혹은 현재 문제가 기술 발전을 통해 자연스럽게 해결된다고 판단될 때, 기술부채를 안은 상태에서 기술 도입 속도를 높인다. 모든 문제를 완벽하게 해결하면서 개발을 진행하려면 너무 많은 시간이 걸려 기술을 적용할 최적의 시기를 놓칠 수 있기 때문이다.
현재 AI가 바로 이와 같은 상태에 놓여있다. 생성형 AI 공개 후 보안과 윤리 문제가 불거졌을 때, ‘AI 기술 개발의 속도를 조절해야 한다’는 주장이 높았지만, 대규모 민간 자금이 투입된 AI 기술의 속도를 조절하는 것은 불가능하다.
결국 기술부채를 쌓으면서 AI가 발전하고 있으며, AI 기술은 상상속에서나 꿈꿨던 모델을 현실화하고 있다. 이제 AI가 적용되지 않은 서비스를 찾아보기 어렵다.
F5 조사에 따르면 현재 기업의 96%가 AI 모델 배포를 계획하고 있으며, 3년 내 전체 애플리케이션의 80%가 AI를 활용할 것으로 보인다. 가트너가 CEO를 대상으로 한 조사에서 74%가 “AI가 자사 산업에 가장 큰 영향을 미칠 기술”이라고 밝혔다.
중요 데이터에 광범위하게 접근하는 AI
그러나 AI로 인한 위협을 해결하지 못한 상태에서 AI 사용이 늘어나고 있다는 것은 심각한 리스크다. 시스코 조사에서 전 세계 기업의 86%가 “1년 동안 AI 관련된 보안 사고를 경험했다”고 답했는데, 거의 대부분의 기업이 AI를 사용하고 있다는 점을 감안하면 사실상 거의 모든 기업이 AI로 인한 보안사고를 당한 것이나 다름없다.
특히 가장 민감한 보안위협은 AI가 중요 데이터에 광범위하게 접근한다는 점이다. SaaS 보안 전문기업 발렌스(Valence) 후원으로 클라우드 보안 연합(CSA)이 조사한 ‘SaaS 보안 현황’에 따르면 IT·보안 전문가 56%는 타사 공급업체와 AI 기반 SaaS 도구가 데이터에 대한 과도한 권한의 API 액세스를 확보하고 있어 문제가 될 것이라고 답했다.
AI 전환을 추진하는 조직은 대부분 사람의 개입 없이 자동으로 생성형 AI와 타사 도구를 통합하기를 원하며, 데이터 이동 및 분석, 애플리케이션 연결, 대규모 출력이 가능한 시스템을 구축한다. 그런데 생성형 AI가 여러 애플리케이션에서 민감한 데이터에 접근하기 때문에 위협 수준이 매우 높아진다.
딥시크와 같은 오픈소스 생성형 AI 도구가 등장하면서 이러한 우려가 더욱 증폭된다. 이 도구는 강력한 기능을 제공하면서도 쉽게 사용할 수 있어 직원들이 허가 없이 사용하는 경우가 많다. 또한 보안 및 개인정보 보호 기능이 부족해 심각한 보안사고로 이어질 수 있다.
이외에도 생성형 AI는 다양한 데이터 위협을 안고 있다. 특히 고의 혹은 실수로 생성형 AI가 민감·기밀정보를 출력할 수 있다. 체크포인트 조사에서 생성형 AI 프롬프트 80개 중 1개는 민감한 데이터 유출 위험이 높으며, 13개 중 1개에 잠재적으로 민감한 정보가 포함된 것으로 나타나 심각성을 더한다. 체크포인트는 AI 서비스가 매달 기업 네트워크의 최소 51%에서 사용되고 있으며, 더 많은 업무에 AI를 사용할 것으로 보이는 만큼, 더 많은 보안 문제에 직면하게 될 것이라고 경고했다.
쉽게 우회 가능한 프롬프트 필터링
생성형 AI의 보안문제가 불거지자 생성형 AI 서비스는 윤리·도덕적 규범을 정하고 이를 벗어나는 질문이나 출력을 하지 못하도록 ‘가드레일(Guardrail)’ 개념을 도입하고 있다. 그러나 가드레일은 쉽게 우회할 수 있다. 다크웹에는 다양한 탈옥 엔지니어링 기법이 등장했으며, 성공적인 탈옥 프롬프트를 공유한다. 가장 쉬운 예로, 학술 연구 프롬프트로 위장해 유해한 코드를 작성하도록 설득할 수 있다.
가드레일은 정책의 유연성이 부족하고, 맥락을 기반으로 판단하지 못하며, 행위 추적과 분석이 어렵고 프롬프트 우회 공격에 쉽게 무너질 수 있다.
유병완 지란지교데이터 대표는 “생성형 AI는 개인정보, 민감정보, 기밀정보가 외부 유출되지 않도록 자체적인 필터링 체계를 갖추고 있지만, 프롬프트 입력에 따라 쉽게 우회할 수 있다. 이 방법은 쉽게 공유할 수 있어 해커뿐만 아니라 일반인들도 장난으로 혹은 특정 목적을 위해 악용할 수 있다”고 경고했다.
