슈퍼컴퓨팅 환경 기반 오픈소스 분산 데이터처리 프레임워크 적용 기법 연구

Abstract

□ 연구 결과 ㅇ 오픈소스 분산데이터 처리 프레임워크 기술 비교 및 분석 - 대표적인 오픈소스 분산데이터 처리 프레임워크인 Hadoop, Spark, Hama에 대한 상세 기술 분석 및 비교 ㅇ 슈퍼컴퓨팅 환경 기반 오픈소스 분산데이터 처리 프레임워크 동적 실행 기술 연구 및 개발 - 아파치 HOD (Hadoop-On-Demand) 기반 하둡 동적 실행 기술 확장 개발 ㅇ 슈퍼컴퓨팅 환경 기반 오픈소스 분산데이터 처리 프레임워크 성능 최적화 기술 연구 및 개발 - 러스터 기반 하둡 맵리듀스 실행 환경 개발, 성능 분석 및 개선

Ⅳ. Result of the study ㅇ Comparison and analysis of open source distributed data processing framework technologies - Detail analysis of technologies about Hadoop, Spark and Hama which is the representative open source distributed data processing framework ㅇ Research and development of the technologies to deploy and execute open source distributed data processing framework dynamically on the supercomputing environment - Extension of Apache HOD (Hadoop-On-Demand) to support SGE and Slurm ㅇ Research and development of the technologies to optimize the performance of open source distributed data processing framework on the supercomputing environment - Development of Lustre filesystem adapter for Hadoop MapReduce including performance analysis and enhancement