테크리퍼블릭의 메리 새클릿은 빅데이터를 사용하는 기업들이 HPC(고성능컴퓨팅)를 활용해 하둡(분산처리시스템)을 고성능화하기 위한 연구가 시도되고 있다고 보도했다.

하둡은 데이터를 병렬 처리하는 기법을 사용하며 저렴한 여러 개의 컴퓨터를 하나로 묶어 대용량 데이터를 처리하는 기술이다. 하둡은 저렴한 일반 하드웨어로도 유지보수가 가능하고 클라우드 상에서도 구현이 가능해 빅데이터를 분석할 때 유용하다. 때문에 이를 사용하는 기업이 늘어나고 있다. 실제로 야후, 아마존, 페이스북, 아메리칸 에어라인, 이베이 등이 하둡을 활용해 서비스하고 있는 것으로 알려졌다.

이런 기업들은 하둡에 HPC가 가진 특징인 최적화 용이성, 상용소프트웨어 사용, 엔지니어 비용 절감 및 유지보수 등을 접목해 사용환경을 개선하기 위한 연구가 계속되고 있다.

HPC란?

HPC란 대용량의 정보를 고속으로 처리하기 위해 구성한 고성능 컴퓨팅 환경을 말한다. 이를 위해 슈퍼컴퓨터 및 컴퓨터 클러스터 등이 사용되는데 이를 통해 빅데이터 처리, 고도의 연산처리, 비즈니스 분석 및 연산 집약형 작업 부하 처리 등의 복잡하고 무거운 작업을 빠르고 효율적으로 수행할 수 있다.