download0 view132
twitter facebook

공공누리This item is licensed Korea Open Government License

Title
슈퍼컴퓨팅 환경 기반 오픈소스 분산 데이터처리 프레임워크 적용 기법 연구
Alternative Title
A Study on Open Source Distributed Data Processing Framework on the Supercomputing Environment
Author(s)
곽재혁황순욱김상완허태상윤준원박경석
Alternative Author(s)
Gwak, Jae-Hyeok; Hwang, Sun-Uk; Kim, Sang-Wan; Heo, Tae-Sang; Yun, Jun-Won; Park, Gyeong-Seok
Publisher
한국과학기술정보연구원
Korea Institute of Science and Technology Information
Publication Year
2014-12
Description
funder : 미래창조과학부
funder : KA
agency : 한국과학기술정보연구원
agency : Korea Institute of Science and Technology Information
Abstract
□ 연구 결과
ㅇ 오픈소스 분산데이터 처리 프레임워크 기술 비교 및 분석
- 대표적인 오픈소스 분산데이터 처리 프레임워크인 Hadoop, Spark, Hama에 대한 상세 기술 분석 및 비교
ㅇ 슈퍼컴퓨팅 환경 기반 오픈소스 분산데이터 처리 프레임워크 동적 실행 기술 연구 및 개발
- 아파치 HOD (Hadoop-On-Demand) 기반 하둡 동적 실행 기술 확장 개발
ㅇ 슈퍼컴퓨팅 환경 기반 오픈소스 분산데이터 처리 프레임워크 성능 최적화 기술 연구 및 개발
- 러스터 기반 하둡 맵리듀스 실행 환경 개발, 성능 분석 및 개선

Ⅳ. Result of the study
ㅇ Comparison and analysis of open source distributed data processing framework technologies
- Detail analysis of technologies about Hadoop, Spark and Hama which is the representative open source distributed data processing framework
ㅇ Research and development of the technologies to deploy and execute open source distributed data processing framework dynamically on the supercomputing environment
- Extension of Apache HOD (Hadoop-On-Demand) to support SGE and Slurm
ㅇ Research and development of the technologies to optimize the performance of open source distributed data processing framework on the supercomputing environment
- Development of Lustre filesystem adapter for Hadoop MapReduce including performance analysis and enhancement
Keyword
Distributed Data Management; Supercomputer; Hadoop; Lustre; Open Source
Files in This Item:
There are no files associated with this item.
Appears in Collections:
7. KISTI 연구성과 > 연구보고서 > 2014
URI
https://repository.kisti.re.kr/handle/10580/11200
http://www.ndsl.kr/ndsl/search/detail/report/reportSearchResultDetail.do?cn=TRKO201500002146
Fulltext
 http://www.ndsl.kr/ndsl/commons/util/ndslOriginalView.do?dbt=TRKO&cn=TRKO201500002146
Export
RIS (EndNote)
XLS (Excel)
XML

Browse