클라우데라는 아파치 아이스버그(Apache Iceberg)를 클라우데라 데이터 플랫폼(CDP)에서 공식 출시했다고 밝혔다.

아이스버그는 아파치 소프트웨어 재단(ASF)에서 개발된 개방형 테이블 포맷으로 사용자가 공급업체에 종속되지 않는 장점이 있다. 공식 버전은 클라우데라 데이터 플랫폼(CDP)의 주요 데이터 서비스인 클라우데라 데이터 웨어하우스(CDW), 클라우데라 데이터 엔지니어링(CDE), 클라우데라 머신 러닝(CML) 등에서 사용 가능하다.

해당 서비스로 애널리스트와 데이터 사이언티스트는 자유롭게 분석 엔진과 도구를 선택해 같은 데이터 상에서 쉽게 협업하는 것이 가능해졌다. 또한 기업은 별다른 사전 작업이나 공급업체 종속, 불필요한 데이터 변환, 그리고 클라우드와 도구 간의 데이터 이동 없이 아이스버그로 데이터에서 인사이트를 도출할 수 있다.

CDP는 개방형 데이터 레이크하우스를 제공하는 하이브리드 데이터 플랫폼으로서 여러 클라우드와 온프레미스에서 클라우드 네이티브 개체 저장소의 스트리밍과 저장된 데이터에 대한 페타바이트 규모의 다기능 분석을 제공한다. 이를 통해 사용자는 선호하는 분석 도구를 자유롭게 선택 가능하다.

개방형 데이터 레이크하우스를 도입한 기업은 데이터 스케일링에 대한 걱정 없이 온프레미스나 퍼블릭 클라우드 간의 애플리케이션 상호운용성과 휴대성을 확보할 수 있다. 또한 기업은 CDP에 기본 내장된 SDX(Shared Data Experience)를 통해 모든 자사 데이터 상에서 공통 메타데이터와 보안, 그리고 거버넌스 모델을 활용할 수 있다.

클라우데라코리아 임재범 지사장은 “클라우데라는 지난 10년동안 하이브 테이블 포맷과 하이브 ACID를 도입해 데이터 레이크에 대한 다기능 분석을 제공했다. 레이크하우스는 클라우드로 많은 발전을 이뤘지만 여전히 초기 엔진이나 공급업체에 종속된 테이블 포맷으로 운영됐다”라며 “기업은 공급업체에 종속되지 않고 데이터 레이크하우스의 뛰어난 확장성과 유연성을 탑재한 분석 엔진과 서비스를 지속적으로 요구해왔다. 이러한 요구에 따라 비즈니스 속도에 맞춰 진화하는 최신 데이터 아키텍처를 최초의 개방형 데이터 레이크하우스로 지원하게 되어 기쁘다”라고 말했다.

아파치 아이스버그는 단일 명령으로 스키마와 파티션 변경을 포괄하는 인플레이스 테이블 에볼루션을 지원한다. 포렌식 가시성과 규정 준수 기능을 위해 특정 시점 쿼리를 활용하는 시점 이동도 지원된다. 또한 엣지에서 AI에 이르는 종단 간 데이터 라이프사이클 요구사항을 제공하는 동시 다기능 분석 기능도 제공된다. 이에 더해 대규모 데이터 세트를 처리하기 위한 공격적 파티셔닝으로 향상된 성능을 자랑한다.

클라우데라는 고객이 아이스버그를 쉽게 사용하고 개방형 테이블 포맷의 생산성과 성능을 모두 누릴 수 있도록 아이스버그를 CDP의 SDX 레이어로 바로 통합했다. 고객은 기본 대용량 데이터 세트를 건들이지 않고 메타데이터만으로 한 번의 명령으로 마이그레이션을 진행할 수 있게 됐다.

클라우데라는 이미 아이큐비아(IQVIA), 테라넷(Teranet), 모닥 애널리틱스(Modak Analytics) 등 여러 고객 사례를 통해 기존 데이터 레이크하우스 아키텍처에서 충족되지 않은 요구조건을 CDP 아파치 아이스버그를 통해 해결한 바 있다.

클라우데라코리아 임재범 지사장은 “아파치 아이스버그를 통합해 CDP의 성능을 크게 끌어올려 데이터 레이크하우스를 뛰어넘었다”라며 덧붙여 “클라우데라는 하이브리드와 멀티 클라우드를 가리지 않고 어디서나 모든 데이터를 처리하며, 데이터가 생성되고 저장되며 사용되는 모든 곳에서 고객을 지원한다”라고 말했다.

★정보보안 대표 미디어 데일리시큐!★