컴퓨팅 그리드 구축을 지원하기 위한 네트워크 기반의 다중 스토리지 데이터 관리 시스템에 관한 연구

Abstract

바이오, 나노, 환경, 항공우주 등 핵심 응용 연구를 지원하기 위한 컴퓨팅 그리드 환경을 구축하기 위해서는 페타바이트 이상의 대용량 데이터를 효과적으로 이기종 스토리지 시스템 위에 분산 저장하는 기술 및 사용자가 편리하게 액세스할 수 있는 운영기법이 필요하다. 전형적인 컴퓨팅 환경에서는 모든 자원이 로컬 디스크를 이용한 스토리지와 연결되어 있었으나, 애플리케이션이 생성하는 데이터 크기가 증가하여 로컬 디스크 용량을 초과하게 됨에 따라 HPSS나 UniTree등 제3저장장치를 사용하거나 네트워크를 통해 지역적으로 분산시켜 저장하는 기술이 필요하게 되었다. 본 과제는 컴퓨팅 그리드 환경의 기반을 이루는 로컬 스토리지, 원격지 스토리지, HPSS 등 다양한 저장 시스템을 지원하며, 네트워크 성능을 고려한 여러 state-of-the-art 입출력 최적화를 수행하는 다중 스토리지 데이터 관리 시스템을 구축하는 것을 목적으로 한다. 현재 국내에서는 KISTI를 중심으로 국가 그리드 기반 구축에 많은 투자를 하고 있으나, 대부분의 그리드 관련 과제들은 Job Scheduling이나 portal에 관한 연구에 집중되어 있으며, 대용량 데이터를 이기종 스토리지에 효율적으로 분산하여 저장 및 관리하기 위한 연구는 거의 없는 실정이다. 본 과제는 아르곤 연구소 및 HP에서 그리드와 관련된 연구 개발에 참여한 경험을 토대로 고속의 분산 데이터 공유 및 저장․서비스를 위한 네트워크 기반의 다중 스토리지 데이터 관리 시스템을 제안하고 있다.

The objective of this research is to develop a data management system that manages and integrates distributed, heterogeneous storage system to extend the logical storage space to store large number of large-sized data with low costs. Also, it supports the large-sized data sharing between remote sites. In the typical computing environment, the data generated in data-intensive applications are stored in the local storage, resulting in large I/O cost. However, as the rate that data is produced increases and the amount of data significantly exceeds that of local disk capacity, large-scle scientific applications have to turn to other large storage resources. These resources include HPSS or UniTree, or other resources that are physically distributed. The cost to store to or to retrieve from distributed storages includes the network cost to establish reliable and secure network, and includes the I/O cost to perform I/O on the remote-heterogeneous storage. The purpose of this research is to develop a data management system that supports several state-of-the-art I/O optimizations to enable the large-sized data sharing between remote sites, while providing a transparent user interface to allow users to access the data needed easily.