1천여 명의 정보보안 담당자가 참석한 하반기 최대 정보보호 컨퍼런스 PASCON 2023에서 한국인터넷진흥원(KISA) 김성훈 팀장은 생성형 AI 기술의 급격한 발전으로 인한 다양한 보안 문제와 함께, 이러한 문제들에 대응하기 위한 기술과 정책적인 해결책에 대해 공유하는 시간을 가졌다.

김성훈 팀장은 “생성형 AI 플랫폼을 해커들이 악의적으로 활용해 알고리즘 분석과 학습 데이터 유출과 조작을 목적으로 하는 해킹 및 공격이 증가하고 있다. 또 생성형 AI가 작성한 콘텐츠의 저작권 침해 문제도 끊임없이 대두되고 있다. 저작물의 소유권과 인정, 결과물의 보호 등이 큰 논란의 소지가 있다”고 전했다.

챗GPT 로 촉발된 생성형 AI 개발에 글로벌 거대 기업들이 앞다퉈 뛰어들고 있다.

국내에서는 네이버가 하이퍼클로바X를 출시했고 카카오도 한국어 모델 ‘KOGPT’, SK텔레콤은 GPT-3 기반의 대화형 앱 ‘에이닷’ 상용화, KT는 생성형 AI 모델 ‘믿:음’, LG는 ‘EXAONE’ 등을 개발했다. 해외에서도 구글, 마이크로소프트, 메타, 아마존, 바이두 등에서 다양한 생성형 AI 플랫폼을 개발하고 출시하고 있는 상황이다.

단순히 대화형 AI 뿐만 아니라 의료, 마케팅, 금융, 미디어, 법률 등 다양한 산업 분야에 생성형 AI가 활용될 전망이다.

하지만 거짓을 사실처럼 답변하거나 최신 정보는 반영되지 못하는 등 인공지능 고유의 기술적 한계와 잘못된 정보가 활용되거나 기술을 악용하는 사례 등 역기능에 대한 우려도 커지고 있는 상황이다.

또 사이버공격과 범죄에 악용될 가능성도 크다.

체크포인트는 다크웹 해킹 커뮤니티에서 챗GPT를 활용해 악성도구를 개발하는 사례를 확인했고 공격자들이 AI를 활용해 해킹도구를 개선하는 사례가 증가할 것으로 전망했다.

또 카스퍼스키도 챗GPT의 결과물은 단순히 단어의 조합과 배열이므로 주의해서 사용해야 하고 사이버 보안에서 사이버 범죄자와 방어자 모두 활용할 수 있다고 경고했다.

오픈AI 최고기술책임자 미라 무라티도 AI의 악용 가능성을 경고하고 정부의 규제가 필요하다고 강조한 바 있다. 가트너도 챗GPT를 차단하기 보다는 신중하게 테스트하고 활용할 수 있는 지침을 마련할 것을 권고했다.

한편 이탈리아는 EU GDPR을 들며 이탈리아 내 챗GPT 서비스 제공 중단 명령 및 시정 조치 요구를 한 바 있으며 EU 국가뿐만 아니라 미국과 일본 등도 인공지능 규제 마련을 위해 여론을 수렴하고 전략회의체를 만드는 등 인공지능에 대한 규제 논의도 활발히 이루어지고 있는 상황이다.

한국도 정부에서 안전한 챗GPT 활용 안내서를 발간해 안전한 도입을 추진하고 있으며 국내 기업들은 해외 기업들과 유사하게 제한적인 도입이나 별도의 도입방안을 마련하고 있다.

예를들어, 행안부는 챗GPT를 공무원들이 안전하게 활용할 수 있도록 지침을 마련할 계획이며 개보위도 AI 개인정보 이용 가이드라인 마련을 추진하고 있다.

삼성전자는 챗GPT 사용을 금지하고 임직원 대상 챗GPT 관련 설문를 통해 내부 지침을 수립할 예정이며 SK하이닉스도 사용을 전면 금지시키고 있다. 한편 SK텔레콤은 챗GPT API를 기반으로 사내 전용 챗봇 서비스를 만들어 회사 내부망에서 활용하고 있고 KT는 사내에서 업무생산성을 높이는 목적으로 사용하되 업무, 기밀사항 입력 등은 금지하고 있다.

◆챗GPT 보안위협 증가...대응 체계 마련해야

김 팀장은 “챗GPT를 활용해 피싱 메일을 작성하고 악성코드를 생성·유포할 수 있다는 것은 확인했다. 공격자는 대량의 피싱 메일을 손쉽게 작성 및 수정이 가능하고 해외 공격자는 언어적 한계를 해소할 수 있어 피싱 메일이 문법적으로 자연스러워지고 정교해지고 있다. 이를 통해 악성코드 감염이 증가하고 해킹에 의한 피해 규모가 증가할 수 있다”고 우려했다.

특히 챗GPT 에 랜섬웨어 악성코드를 생성하라고 요청하면 거부하지만 랜섬웨어의 일부 기능 생성을 우회적으로 요청하면 명령을 수행할 수 있다는 점도 지적했다.

이어 “챗GPT 코드생성 기능을 통해 전문 지식이 부족한 공격자도 쉽게 해킹에 필요한 기능을 개발할 수 있고 공격 방법 습득, 취약점 분석 등 해킹의 모든 과정에서 챗GPT 가 해커에게 도움이 될 가능성이 크다”며 무분별한 사이버 범죄 확산과 일반 범죄의 사이버 범죄화 가능성도 존재한고 전했다.

그는 “실제 공격을 위해서는 챗GPT 로 생성한 기능들을 조합하는 과정에서 다양한 추가 작업이 필요하다. 아직까지 챗GPT 결과물로만 실제 심각한 사이버 공격이 발생하기 어렵지만 인공지능이 고도화되면 이러한 위협 수준도 증가할 것”이라고 덧붙였다.

더불어 악의적인 학습데이터 주입을 통해 결과물에 영향을 줄 수 있는 데이터 오염 공격도 가능하고 입력 데이터 변조, 학습 데이터 복원, 모델 공격 복제 등 전통적인 인공지능 고유의 보안위협도 존재한다고 전했다.

이에 “인공지능 모델 및 서비스의 개발 단계부터 활용단계까지 인공지능 자체의 고유한 보안 위협에 대한 인공지능 보안 대응 방안 마련이 필요하다”고 강조했다.

김 팀장은 챗GPT 보안위협 대응 방안으로 △악용 가능성 및 잠재적 보안 위협에 대한 선제적 도치로 기술적 보안대책 강화 및 교육이 중요하고 챗GPT 를 활용한 악성코드 생성과 배포에 대한 지속적인 테스트를 통해 위협 수준 분석 및 탐지-차단 방안을 마련해야 한다.

또 △챗GPT의 안전한 활용 가이드라인을 마련해 무분별한 활용을 방지하고 결과물 오남용과 민감정보 유출을 완화해야 한다고 강조했다.

끝으로 △챗GPT 등 생성형 AI 전반에 대한 종합적인 보안 프레임워크를 마련하고 진화하는 AI 보안위협에 대한 핵심 대응역량(인력, R&D, 제도 정비 등)을 강화해야 한다고 덧붙였다.

한편 인공지능은 막대한 부가가치를 창출하는 신산업 분야로 챗GPT 등장과 함께 전 세계적으로 AI 연구 및 투자가 가속화되고 있다. 혁신의 가치를 저해하지 않으면서 안전하게 활용할 수 있도록 균형적인 보안 정책 및 대응 체계 마련이 필요하다고 당부했다.

★정보보안 대표 미디어 데일리시큐 / Dailysecu, Korea's leading security media!★