[박나룡 보안칼럼] AI 시대, 무결성이 중요해진다.

AI 생태계에서 무결성은 단순한 선택 아니라 필수적 요구 사항

전통적으로, 정보보호에서 중요한 세 가지 핵심 요소를 이야기하면 기밀성(Confidentiality), 무결성(Integrity), 가용성(Availability)을 꼽는다.

3가지 요소에 ‘전통적’이라는 얘기를 하는 이유는, 전쟁이나 정보전과 같은 상황에서 ‘암호’나 ‘국가기밀’의 관리에 적용되던 개념을 지금도 조직의 일반적인 정보보호에 적용하고 있어서다.

최근에는 컴플라이언스나 개인정보와 같은 개념을 추가해서 위험평가를 수행하는 조직이 늘어나고 있기는 하지만, 아직까지 기밀성, 무결성, 가용성은 중요도(위험평가)를 판단하는 가장 기본적인 요소로 활용되고 있다.

그중에서 무결성은 블록체인 생태계나 은행의 원장 데이터 등 특별한 정보에 대한 위‧변조를 차단해야 하는 곳에서 큰 의미를 가졌었고, 일반적인 조직에서는 상대적으로 중요한 요소로 활용되지 못했었다.

하지만, AI 시대에 접어들면서 서비스 제공자나 이용자 관점에서 무결성의 중요도가 높아지고 있고, 높아져야 할 상황이 되고 있다.

무결성이 결여된 데이터는 AI 생태계 전반에 걸쳐 여러 가지 부정적인 결과를 초래할 수 있기 때문이다.

AI 서비스 제공자 측면에서, 학습데이터는 서비스 모델이 질문을 '이해'하고, 결정을 내리며, 예측하는 데 사용되는 기본 자원으로 무결성의 훼손은 서비스나 시스템의 성능, 신뢰성, 그리고 공정성에 결정적인 영향을 미칠 수밖에 없다.

구체적으로 살펴보면,

신뢰성 손상

AI 시스템의 신뢰성은 학습데이터가 제공하는 정보의 정확성에 크게 의존하므로, 데이터의 무결성이 보장되지 않는다면, 그 결과의 신뢰성도 당연히 떨어질 수밖에 없다.

이는 이용자와 제공자 모두에게 AI 시스템에 대한 신뢰를 손상시키고, 장기적으로 AI 생태계에 대한 전반적인 신뢰도를 하락시킬 수 있다.

편향성 증대

학습데이터에 내재된 편향성은 AI 모델에게도 그대로 전달되어, 특정 그룹에 대해 과장되거나 과소 평가되는 경우, AI 시스템은 이러한 편향을 '학습'하고, 그 결과로 생성된 모델의 결정이나 예측에 편향성을 유발할 수 있다.

이는 특정 집단에 대한 차별로 이어질 수 있으며, 불공정한 결과를 초래할 가능성을 높인다.

성능 저하

무결성이 손상된 데이터는 오류가 포함되거나 불완전할 수 있고, 이는 AI 모델이 정확하고 신뢰할 수 있는 예측을 하는 데 필요한 정확한 정보를 제공하지 못함을 의미하게 된다.

결과적으로, AI 시스템의 전반적인 성능이 저하될 수 있으며, 이는 비효율적인 결정, 잘못된 예측, 그리고 사용자의 요구를 충족시키지 못하는 서비스로 이어질 수 있다.

법적 및 윤리적 문제

데이터의 무결성 문제는 법적, 윤리적 책임 문제로 이어질 수 있다.

잘못된 데이터를 기반으로 한 결정이 개인의 권리를 침해하거나, 법적 규제를 위반하는 경우, 서비스 제공자는 그에 대한 책임에서 자유로울 수 없는 상황을 맞이할 수 있으며, 데이터의 출처와 수집 방법에 대한 투명성 부족은 서비스 이용자들에게 개인정보보호와 관련된 우려를 증가시킬 수 있다.

서비스 이용자 입장에서는 AI 성능이 빠르게 진화하면서, 동시에 급격하게 늘어나는 가짜뉴스의 확산과 딥페이크(deepfake) 기술의 부작용들로 인해, 결과에 대한 무결성을 추가적으로 확인해야 하는 상황이 벌어지고 있다.

AI를 통해 의도적으로 잘 만들어진 콘텐츠는 진실과 거짓의 경계를 모호하게 하고, 일반 이용자들에게 ‘사실’을 확인하기 어렵게 만들고 있다.

이러한 상황에서, 무결성은 정보의 정확성과 출처의 신뢰성을 보장하는 중요한 요소로 작용해야 한다.

무결성을 강화하기 위해서는 데이터의 출처를 명확히 하고, 정보의 진위를 검증하는 방법을 제공함으로써 가짜뉴스의 확산을 억제할 수 있으며, 이용자들에게 정보의 출처(학습데이터 등)와 교정 알고리즘, 편향 가능성 등에 대해 최대한 투명하고 이해하기 쉽게 공개함으로써 부정적 이용을 최소화하기 위한 노력이 필요하다.

AI가 사회 전반에 스며들어 긍정적 변화를 이끌어 내기 위해서는 사회적 신뢰와 가치를 위협하는 부작용을 최소화하는 것이 중요하기 때문이다.

이러한 문제에 맞서기 위해서는 AI 개발과 사용 과정에서 무결성을 중요한 가치로 삼아, 정보의 진실성을 보장하고, 공정한 결정을 내리며, 기술의 윤리적 사용을 보장할 수 있는 다양한 장치들을 마련해야 한다.