IBM은 13일 기자간담회를 갖고 기업이 AI를 잘 활용할 수 있도록 지원하기 위한 새로운 데이터 레이크하우스 솔루션, IBM 왓슨x.데이터(watsonx.data)를 소개했다. 

AI를 비즈니스에 도입하고 활용하고자 하는 기업들이 빠른 속도로 증가하고 있으며, AI는 2030년까지 약 16조 달러의 가치를 창출할 것으로 예상된다.1 그러나, 이들 중 많은 기업들이 AI 도입을 확대하는데 데이터 문제로 어려움을 겪고 있다.

IDC 조사 결과, 전 산업군에서 대대적인 디지털 전환이 이뤄지면서 향후 5년간 기업이 보유한 데이터의 양은 250% 이상 증가할 것으로 예상된다. 또한, 데이터들이 사내 서버(온프레미스), 프라이빗 클라우드, 퍼블릭 클라우드, 엣지 등 다양한 환경에 분산되어 있어 공유나 활용이 쉽지 않다. 데이터의 형식이 문서, 이미지, 동영상 등 다양해지고, 데이터의 품질이 오래되고 일관성이 없는 경우도 많아 데이터를 활용하기 위해서는 80%의 시간을 데이터 정리, 통합, 준비하는 데 사용한다는 통계도 있다.

이런 상황에서 기존의 데이터 접근 방식은 오히려 복잡성을 가중시키고 불필요한 비용을 야기하며 AI의 잠재력을 최대한 이끌어내기 어렵게 한다. 

현재 많은 기업들은 데이터를 저장하고, 분석, 활용하기 위해 데이터 웨어하우스를 사용하고 있다. 성능이 높은 대신 정형 데이터만 저장, 분석이 가능하고, 비용이 많이 드는 데이터 웨어하우스의 약점을 보완하기 위해 이미지, 동영상 등의 비정형 데이터를 저장, 사용할 수 있고, 비용이 상대적으로 저렴한 데이터 레이크를 도입한 기업들이 늘었지만, 데이터 레이크는 성능이 낮고, 단일 클라우드에서만 사용이 가능한 경우가 많아 AI를 전 비즈니스 영역으로 확대하는 데 적합하지 않았다. 

IBM이 오늘 발표한 왓슨x.데이터는 데이터 웨어하우스의 고성능 처리 기술과 데이터 레이크의 유연성을 함께 제공하는 새로운 데이터 레이크하우스 솔루션이다. 정형 데이터와 비정형 데이터를 자유롭게 저장, 활용할 수 있으며, 저렴한 개방형 스토리지를 지원하면서도 높은 성능을 제공한다.

무엇보다 왓슨x.데이터는 기업들이 AI 작업을 확대 적용하는 것을 지원하도록 다음과 같은 기술을 채택하고 있다.

▲사내 서버(온프레미스), 클라우드, 멀티 클라우드 등 데이터가 저장된 위치에 상관없이 단일 접속 지점으로부터 모든 데이터에 접근 가능

▲중앙집중식 거버넌스 및 보안, 자동화 기술을 내장, 데이터를 보호하고, 규정 준수 여부를 관리하며, 신뢰성을 유지

▲멀티 쿼리 엔진과 스토리지 계층 기술로 AI 및 분석 작업을 최적화하고 데이터 용도에 따라 컴퓨팅 및 저장 공간을 확장 또는 축소하여 기존에 사용하고 있는 데이터 웨어하우스 비용을 50%3까지 절감

AI를 통해 비즈니스 가치를 극대화하기 위해서는 데이터 분석가, 데이터 과학자 뿐만 아니라 기업 사용자 누구든 신뢰할 수 있는 고품질의 검증된 데이터를 셀프 서비스로 활용할 수 있게 하는 것이 중요하다. 이를 위해 왓슨x.데이터는 다른 왓슨x 플랫폼 솔루션과 마찬가지로 파운데이션 모델과 생성형 AI를 활용하고 있다.

사용자가 자연어 문장과 질문을 사용하여 필요한 데이터를 활용할 수 있도록 돕는 시맨틱 오토메이션(Semantic Automation)라는 기능이 그 대표적인 예이다. 예를 들어, 사용자가 왓슨x.데이터에 “이 테이블에 거주지 데이터를 추가해줘”라고 말하면 시맨틱 오토메이션의 AI가 후보 테이블을 찾고, 실제로 조건을 충족시키는 테이블 간의 조인 키도 찾아내는 식이다. 이 기술을 통해 사용자는 코딩이나 데이터 엔지니어링 전문 지식 없이도 셀프 서비스 대화 기능을 사용하여 데이터를 쉽게 검색, 보강, 정제할 수 있다.

◆파운데이션 모델과 생성형 AI가 적용된 IBM 왓슨x (Watsonx)

과거 기업들은 AI를 도입할 때, 다양한 AI 모델에 데이터를 학습시키고 유지 관리하는 데 상당한 어려움을 겪어왔다. 이 때 등장한 것이 파운데이션 모델이다.  

파운데이션 모델은 레이블이 지정되지 않은 방대한 양의 데이터를 사전에 학습한 AI 모델이다.  조직에서 AI를 활용할 때 파운데이션 모델을 사용하면 AI를 학습시키기 위한 데이터 준비 및 학습에 들어가는 시간과 비용을 크게 절감할 수 있다. 또한, 레이블이 지정된 데이터를 이전 방식보다 10~100배 적게 사용하여 사용 사례에 쉽게 적용할 수 있다. 그 결과, 조직에서 결과를 창출하는 시간이 단축되고, 내부 팀의 생산성을 향상할 수 있다.

파운데이션 모델은 이 생성형 AI를 가능하게 하는 기본 바탕이다. 그러나, 파운데이션 모델과 생성형 AI에 있어서 소비자용과 비즈니스용 AI 애플리케이션이 다르다는 점을 기억해야 한다.

오늘날 기업은 신뢰할 수 있는 데이터, 속도, 거버넌스를 통해 조직 전체에 AI를 활용하기 위한 전 과정을 아우르는 모든 기술과 서비스가 필요하다. 그리고 이 모든 것은 한 곳에서 활용할 수 있어야 하며, 모든 클라우드 환경에 걸쳐 실행할 수 있어야한다.

이러한 비즈니스의 요구조건을 반영하여 IBM에서 발표한 AI 플랫폼이 왓슨x(watsonx)이다.

왓슨x는 기존 머신 러닝 및 최신 파운데이션 모델을 구축, 개선할 수 있는 기업용 AI 및 데이터 플랫폼이다. 비즈니스 전용이므로 데이터가 어디에 있든 책임감 있고 투명하게 데이터를 활용한다. 'x'는 규모를 의미하며 비즈니스에서 AI의 영향력을 배가함을 의미한다.  

왓슨x의 핵심은 신뢰성이다. 기업은 고객과 상호 작용할 때 AI가 거짓 정보를 사실처럼 꾸며내거나(hallucination) 부적절한 언어를 사용하지 않을 것이라는 확신을 가질 수 있어야 한다. IBM의 접근 방식은 진화하는 법률 및 규제 환경에 민첩하게 적응할 수 있는 적절한 수준의 엄격성, 프로세스, 기술 및 도구를 구축하는 것이다.

이런 목적에 따라 IBM은 왓슨x를 다음과 같이 구성했다.

▲IBM 왓슨x.ai : 2023년 7월에 정식 출시될 예정인 차세대 기업용 AI 스튜디오이다. AI 개발자들이 머신 러닝을 기반으로 AI를 구축, 실행, 배포할 수 있도록 지원하는 IBM 왓슨 스튜디오 기술과 파운데이션 모델의 성능을 활용하는 최신 생성형 AI 기술을 결합했다.

▲IBM 왓슨x.데이터(data): 데이터에 빠르게 접근하고 활용하기 위한 데이터 및 AI 워크로드에 최적화된 데이터 저장소

▲IBM 왓슨x.거버넌스(governance): 정책 생성형, 의사 결정 권한 할당, 위험 및 투자 결정에 대한 조직의 책임 보장을 위한 자동화된 데이터 및 모델 수명 주기 솔루션으로 AI 도구 및 AI 사용에 필요한 보도장치를 구축할 수 있도록 지원한다.

IBM은 오는 7월 왓슨x.데이터를 한국을 포함한 전 세계에서 정식 출시하며 비즈니스용 AI 시장을 본격 공략할 계획이다.

★대한민국 시큐리티 대표 미디어 데일리시큐 / Dailysecu, Korea's leading security media!★