KISTI repository
BROWSE
download0
view741
This item is licensed Korea Open Government License
- Title
- 슈퍼컴퓨팅 환경 기반 오픈소스 분산 데이터처리 프레임워크 적용 기법 연구
- Alternative Title
- A Study on Open Source Distributed Data Processing Framework on the Supercomputing Environment
- Alternative Author(s)
- Gwak, Jae-Hyeok; Hwang, Sun-Uk; Kim, Sang-Wan; Heo, Tae-Sang; Yun, Jun-Won; Park, Gyeong-Seok
- Publisher
-
한국과학기술정보연구원
Korea Institute of Science and Technology Information
- Publication Year
- 2014-12
- Description
-
funder : 미래창조과학부
funder : KA
agency : 한국과학기술정보연구원
agency : Korea Institute of Science and Technology Information
- Abstract
-
□ 연구 결과
ㅇ 오픈소스 분산데이터 처리 프레임워크 기술 비교 및 분석
- 대표적인 오픈소스 분산데이터 처리 프레임워크인 Hadoop, Spark, Hama에 대한 상세 기술 분석 및 비교
ㅇ 슈퍼컴퓨팅 환경 기반 오픈소스 분산데이터 처리 프레임워크 동적 실행 기술 연구 및 개발
- 아파치 HOD (Hadoop-On-Demand) 기반 하둡 동적 실행 기술 확장 개발
ㅇ 슈퍼컴퓨팅 환경 기반 오픈소스 분산데이터 처리 프레임워크 성능 최적화 기술 연구 및 개발
- 러스터 기반 하둡 맵리듀스 실행 환경 개발, 성능 분석 및 개선
Ⅳ. Result of the study
ㅇ Comparison and analysis of open source distributed data processing framework technologies
- Detail analysis of technologies about Hadoop, Spark and Hama which is the representative open source distributed data processing framework
ㅇ Research and development of the technologies to deploy and execute open source distributed data processing framework dynamically on the supercomputing environment
- Extension of Apache HOD (Hadoop-On-Demand) to support SGE and Slurm
ㅇ Research and development of the technologies to optimize the performance of open source distributed data processing framework on the supercomputing environment
- Development of Lustre filesystem adapter for Hadoop MapReduce including performance analysis and enhancement
- Keyword
- Distributed Data Management; Supercomputer; Hadoop; Lustre; Open Source
- Files in This Item:
- There are no files associated with this item.
- Appears in Collections:
- 7. KISTI 연구성과 > 연구보고서 > 2014
http://www.ndsl.kr/ndsl/commons/util/ndslOriginalView.do?dbt=TRKO&cn=TRKO201500002146
