고성능 클러스터 자원 제공을 통한 컴퓨팅 그리드 구축

Abstract

I. 제 목 고성능 클러스트 자원 제공을 통한 컴퓨팅 그리드 구축

II. 연구개발의 목적 및 중요성 국내 이.공계 연구 분야의 교수 및 연구원들과 대학원생들의 supercomputing을 이용한 연구환경 마련 및 연구능력, 성과의 극대화를 위해 CRAY나 IBM/SP2 같은 대형 supercomputer 도입비용의 1/50～1/100 정도의 예산으로 High Performance Supercomputing PC Cluster를 도입하여 computer를 이용한 연구와 grid computing을 이용한 연구에 세계적인 경쟁력을 갖추고 우수한 연구결과를 창출하고자 한다. 슈퍼컴퓨팅 클러스터의 자원을 효율적으로 활용하고 또한 grid 협업 환경을 구축함으로서 국내의 연구 환경을 세계적으로 끌어올릴 수 있는 아주 중요한 계기가 될 것이다. 국가적으로는 국내에 산재해 있는 슈퍼컴퓨팅 자원들을 통합 운영할 수 있어서 중복투자를 방지할 수 있고, 사회적으로는 Linux에 대한 국민들의 인식을 새롭게 하여 IT산업에 대한 새로운 이해를 촉구할 수 있다. Grid 협업 환경 및 슈퍼컴퓨팅 환경을 마련함으로서 과학적으로는 학제간의 연구를 활성화 할 수 있으며, 특히 매우 중요한 것은 NT+IT, BT+IT 및 NT+BT+IT등의 핵심 융합 기술들을 국가적으로 개발하는데 슈퍼컴퓨팅 클러스터가 핵심적인 역할을 할 수 있을 것이다.

III. 연구개발의 내용 및 범위 2차년도인 금년에는 기존의 128 CPU PC- Cluster를 이용한 Supercomputing 환경을 향상시키고, Grid 협업을 수행하기 위한 기초기술개발에 주력하고 있다. 작년 상반기에는 최신의 AMD process를 이용하여 26 CPU Diskless PC- Cluster 개발을 성공하였으며 이를 Grid 환경에 적합한 형태로 시스템을 보완하여 금년 하반기 현재는 Grid 연구를 위한 Testbed로 제공하고 있다. 본 연구실에서는 국내 슈퍼 컴퓨팅 센터들과 그리드 전산 환경을 구축하기 위하여 그리드 컴퓨팅 Testbed로 26 AMD CPU Diskless PC- Cluster를 작년 3월 말부터 개발에 착수하여 완성하였으며, 이를 국내 클러스터 컴퓨팅 그리드 구축에 관한 기초기술 개발 연구 목적으로 활용하고 있다. 시험적으로 KISTI 클러스트, 자원제공기관의 클러스트 및 슈퍼컴퓨터 그리고 부산대 26 AMD CPU PC- Cluster를 포함시켜 그리드 네트워크를 구축하였다. 이 실험은 KISTI에서 주도하고 있는 Globus 2.2.4를 기반으로 한 그리드 구축 방법을 기초 모델로 한 것이며, 궁극적으로는 PC- Cluster를 보유한 국내의 대학 및 연구소들 간에 그리드 네트워크를 형성하고 이를 통해 자원 및 데이터를 상호 활용하기 위한 표준화 과정의 일환으로 진 행한 것이다.

IV. 연구개발결과 현재 Globus Toolkit 2.2.4기반의 자원제공기관간의 연동을 위해 GT 2.2.4 설치, 방화벽설치, 사용자 계정 발급, gsissh설치, gsincftp설치, MPICH- G2설치, SCMSWEB 설치, 일부 연동기관 간의 테스트를 완료한 상태이다.

V. 연구개발의 활용에 대한 건의 Grid 협업 환경을 구축하기 위해서는 PC- Cluster를 보유한 부산대학교, KISTI 및 자원제공기관들이 각각 PC- Cluster system Grid 상에서 안정적으로 구동할 수 있는 환경과 이를 뒷받침하는 기초기술을 개발하여 공유하는 것이 가장 급선무일 것이다. 각 기관이 모두 Linux OS를 기반으로 PC- Cluster를 운영하고 있으나 Linux Kernel version 및 Job Scheduler의 불일치로 인한 이질감을 없애는 작업이 먼저 선행되어야 하고, 이를 위하여 상호 정보 교환을 보다 활발히 해야 할 것이다. 현재 부산대학교에는 Grid연구용 Testbed로 26 AMD CPU PC- Cluster 이외에도 Fast Ethernet 과 Myrinet networking을와의 networking 장비의 표준화하는 작업도 수행되어야 할 것이다. 그리고 각 기관에서 사용하는 Job Distribution System을 표준화 시켜야 하며 이후 각 기관에서 사용하는 PBS system이 서로 통용되도록 조정하는 단계가 필요하다. 각 기관에서 보유하고 있는 128 CPU PC- Cluster의 안정적 구동 및 표준화에 주력하여 향후에 grid 협업 환경을 구축하기 위한 탄탄한 기초를 마련하는 것이 제일 중요하다.

VI. 기 대 효 과 슈퍼컴퓨팅 클러스터의 자원을 효율적으로 활용하고 또한 그리드 협업 환경을 구축함으로서 국내의 연구 환경을 세계적으로 끌어올릴 수 있는 아주 중요한 계기가 될 것이다. 국가적으로는 국내에 산재해 있는 슈퍼컴퓨팅 자원들을 통합 운영할 수 있어서 중복투자를 방지할 수 있고, 사회적으로는 Linux에 대한 국민들의 인식을 새롭게 하여 IT산업에 대한 새로운 이해를 촉구할 수 있다. Grid 협업 환경 및 슈퍼컴퓨팅 환경을 마련함으로서 과학적으로는 학제간의 연구를 활성화 할 수 있으며, 특히 매우 중요한 것은 NT+IT, BT+IT 및 NT+BT+IT등의 핵심 융합 기술들을 국가적으로 개발하는데 슈퍼컴퓨팅 클러스터가 핵심적인 역할을 할 수 있을 것이다.

I. Title Construction and Services of Computational Grid Resource of High Performance Supercomputing Cluster

II. Objective of the study and its importance 1) The Objective of Research It aims to develop international competitive power and produce the excellent research results by developing High Performance Supercomputing PC cluster with the 1/50 or 1/100 budget of buying Cray or IBM/SP2. Equipping this scientific resource and capacity would help domestic professors, researchers, and graduate students related to the field of science and engineering to maximize scientific ability and product by using supercomputing. The specific features of this project can be described in three aspects. In developing aspect, the computing and networking system performing the massive distributed calculation and parallel programing can be developed and improved by building PC cluster which realize high performance supercomputing. In cooperative aspect, grid technology can be developed efficiently by connecting and combining supercomputing cluster resources scattered at different spots, and it will be the one of the national grid test bed based on the globus project. Moreover the project will be propeled, which take actively part in the prototype service of the national grid project. In user supporting aspect, the technical and administrative help will be supplied to users being able to achieve good works. Ultimately the high performance computing power will be supplied to universities, research institutes etc. and the system to develop and improve its environment and support the education of users and the training of experts will be setup in order to use publicly and efficiently the high performance PC- cluster. 2) The Importance of Research Using efficiently the resources of supercomputing clusters and building the cooperative grid environments would be a cornerstone for improving the domestic research environments. In national aspect, the unified management for domestic supercomputing resources scattered on different institutes would keep the national fund from the overlaped investment. In social aspect, renewing the awareness for Linux would give people more comprehension for new technology of the IT industry. By preparation of cooperative grid environments and supercomputing environments, interdisciplinary research would be more activated in scientific aspect, especially supercomputing cluster based on the grid project would be a key for developing national core fusion technologies like NT+IT, BT+IT, and NT+BT+IT etc.

III. Content and scope of the study In this year, that is the second year of the project, improving the supercomputing environments of 128 CPU PC- cluster built already and developing the basic technologies in order to accomplish the grid project. Recently new diskless PC- cluster with 28 AMD processors was built successfully in first half of last year. Adjusting this system to be suitable to the grid environments is going on to be a testbed for the grid research. In order to build the grid computational environment in cooperative with domestic supercomputing centers, we began to develop the 28 AMD CPU diskless PC- cluster as a testbed in late March last year and finished it. All preparations to use for building domestic computing grid with clusters was done. For test, grid network was built connecting KISTI Cluster computer, other resource donating institute, and PNU 28 AMD CPU PC- cluster. This test was accomplished based on the instruction for globus 2.2.4 supported by KISTI, ultimately conducted as one of standardizations in order to build the network and utilize the data and resources among domestic research institutes.

IV. Result of the study We constructed PC- Cluster Testbed based on the Globus Toolkit 2.2.4. MPICH- G2, gsissh, gsincftp, MDS and SCMSWEB are installed in the PNU PC- Cluster Computer. Firewall is also constructed. We added users of resource donating institute. We tested a test application program on the grid networks. The test was successful.

V. Suggestion for utilization In order to construct the national grid co- operative environment, it is the first thing that the three main supercomputing centers in Korea, Pusan National University, KISTI and other resource donating institute which have several PC- Clusters respectively, share their development techniques and knowledge of PC- Clusters for Grid. For reducing the heterogeneity of these center""s PC- Clusters caused by the different Linux versions and batch schedulers, they have to communicate actively each other and exchange their knowledge more. In Pusan National University, there are already constructed PC- Clusters using the Fast Ethernet Algorithm and Myrinet Networking Algorithms as well as newly constructed 28 AMD CPU Diskless PC- Cluster. We will try to standardize the devices of the PC- Clusters in KISTI and other resource donating institute, then we can rebuild PBS system which will be able to use commonly. In the starting year of this research, each center should devote themselves on the standardization of PC- Cluster and preparation of basic knowledge for Grid environment.

VI. Expected Effects It is good opportunity to improve our national researching environment if we succeed the construction of co- operative grid environment for the supercomputing resources of PC- Clusters. In national financial aspect, we can reduce the duplicated investment for the researches by the use of unified management of the domestic supercomputing resources, socially this project would make the improvement of people""s understanding about Linux OS and new attention to the understanding of IT industry. In aspect of science field, the environment of metacomputing on Grid will arise the activation of joint researches between different subjects, specially, the Grid supercomputing PC- Cluster environment will be the role of the development of the core technologies of NT+IT, BT+IT and NT+BT+IT in Korea.