클러스터 자원 제공을 통한 컴퓨팅 그리드 구축

Abstract

I. 제 목 클러스터 자원제공을 통한 컴퓨팅 그리드 구축

II. 연구개발의 중요성 및 목적 과거 슈퍼 컴퓨터를 이용한 계산들이 근래에는 클러스터를 이용하여 해결하는 경우가 많아졌다. 슈퍼 컴퓨터와 성능의 차이는 크지 않지만 시스템 자원의 사용 비용 면에서는 매우 저렴하게 이용할 수 있기 때문이다. 이는 최근의 개인용 컴퓨터의 대중화와 부품 가격의 하락 그리고 네트워크 장비의 고성능화가 급속히 이루어졌기 때문인데, 규모가 크지 않은 대학의 실험실이나 연구소 등에서 큰 컴퓨팅 파워를 필요로 하는 BT, NT, ST 등의 기술 연구를 위해 클러스터 컴퓨팅 시스템을 요긴하게 쓸 수 있는 환경이 만들어지고 있다. 한편, 최근에는 단순 분산 시스템이나 www을 아우르는 infrastructure인 그리드 연구가 활발히 진행되고 있다. 본 연구는 클러스터 시스템들을 다시 광역적으로 엮어 이기종 시스템간의 연동 컴퓨팅을 구현하는 KISTI의 국가 그리드 기반 구축 프로젝트의 일부로서 자원의 안정적인 제공의 임무를 띄고 있다. 이를 위해 CPU대 네트웍의 병목현상을 해결하기 위하여 기존 보유 클러스터의 네트웍 장비를 업그레이드 하고 globus toolkit을 주축으로 하는 그리드 연동 필수 소프트웨어의 세팅을 완료하는 것을 일차적인 목표로 하고, 프로젝트에 참여하는 타 기관과의 유연한 연동을 추구함으로서 초대형 고성능 컴퓨팅 자원의 구축에 이바지 하는 것을 목표로 한다.

III. 연구개발의 내용 및 과정 이번 과제에 사용하게 된 Pentium4 클러스터는 Intel 1.5GHz CPU 탑재한 노드 16가 100Mbps fast ethernet 네트워크로 연결되어 있던 시스템으로서 기존에 실험실의 연구에 활용되었던 것이다. 이를 Nortel사의 BayStack 380- 24T 기가비트 스위치와 Intel 기가비트 랜카드 등을 이용하여 네트워크를 업그레이드 시키는 한편, 3.06GHz(dual)급 CPU를 갖고 있는 로긴 서버를 새로이 설치하고 로긴 서버의 /home을 각 계산 노드가 NFS로 공유하도록 하여 관리의 편의성을 도모하였다. 시스템의 O/S로는 경험적인 검증을 통해 클러스터 시스템 운영에 적합하다고 판단된 Redhat 7.3을 O/S로 탑재하였다. 클러스터간 연동의 핵심 요소인 그리드 미들웨어로는 globus toolkit2.4을 설치하였고, local job scheduler로서는 OpenPBS- 2.3.16을 사용하였으며, MPI 프로그램으로는 grid- enabled 기능을 갖고 있는 MPICH_G2를 설치하였다. 또한 단일 클러스터로서의 사용 편의성을 위해서 구성 노드간 rsh를 설정하였고, Python 스크립트 툴인 clustexec를 자체적으로 개발하여 일괄 작업에 유용하게 사용할 수 있도록 하였다. 그리드에 의한 자원 연동은, 미리 교환된 인증서를 보유하고 있다는 가정 하에 그리드 풀 안에 있는 자원을 자유롭게 이용할 수 있기 때문에, 네트웍 침입자에 대한 방화벽을 튼튼히 쌓아야 하는데, tcp wrapper와 iptables을 이용하여 이를 해결하였다. 시스템의 설정을 완료한 후에는 그리드 유저들의 본격적인 이용을 하기 전에 그리드 툴이 정상적으로 세팅 되어졌는가와 시스템이 안정적으로 동작을 하는지의 여부를 확인 하였고, 네트웍의 latency를 측정하는 Netpipe와 시스템의 전체적인 성능을 측정하는 HPL등으로 간단한 벤치 마크를 실시하였다.

IV. 연구개발 결과 위의 과정을 통하여 이번 그리드 프로젝트의 핵심적인 부분인 클러스터 기반 컴퓨팅 자원의 원활한 제공 준비가 완료되었음을 확인할 수 있었다.

VI. 기 대 효 과 본 연구는, 개발 사업적인 측면에서, 고성능의 저렴한 컴퓨팅 자원을 필요로 하는 대학원 실험실 레벨의 연구 기관에 시스템 구축 및 운용의 모범 사례가 될 것이며, 협업적인 측면에서는, 국가 그리드 프로젝트의 기본 인프라인 안정적인 자원 제공이라는 역할을 수행함으로써, 조만간 불어 닥칠 IT기술의 핫이슈인 그리드 역할을 할 것이라 사료된다.

I. Title Implementation of a Computational Grid based on Support from Cluster Resource

II. Objective of the study and its importance In these days, one tends to use cluster computing power in instead of super computer. Because the cost of cluster is much lower than that of super computer though the computing performance of cluster is not as different as that of super computer. This is possible by the popularization of PCs, decline of the components and increase of performance of network device. The laboratory of university or small scale institute which is needs large scale computing power for BT, NT, ST technologies, can use cluster computing system essentially. The research of Grid which is the infrastructure that unites simple distributed system covering with www, become very active recently. In this study, we provide stable cluster system for the part of the project of national grid basis construction by KISTI. This project realizes the collaboration of widely distributed clusters and supercomputers. For these purpose, the bottleneck between CPU and network must be reduced by upgrade of network devices. And essential software for grid connection must be set for the first goal. By the connection with other institution participates in this project, we can help to construct the large scale and high performance computing.

III. Content of the study and procedure The cluster which be used in this work is composed of 16 nodes of 1.5GHz- Intel Pentium4 CPU and connected each other on 100Mbps fast ethernet network environment. It has worked for laboratory parallel algorithm application program. Now this system was upgraded to Gigabit connectivity in Network environment and 3.06GHz(dual) Pentium4 login server was newly installed. This login server takes rolls of NFS mount server for /home directory for local nodes as well as gate- point to the cluster. RedHat linux 7.3 was adopted for O/S because it was estimated stable one for cluster computing by long experiences. The main toolkit for grid environment, globus- 2.4 was installed and OpenPBS- 2.3.16 was set up as local job scheduler, and MPICH_G2 which is grid- enabled MPI library was installed with device option of globus2. To help system managements easily, a simple script ""clustexec"" was made with python. This scripts allow one command to do automatic consecutive work to local nodes with threading. The collective resource allocation system permit resource usage freely only to pre- authorized one based on GSI. If local area of grid pool was invaded, the whole resource would be stolen.

IV. Result of the study and next object In this work, and it can be shown that supporting from cluster resources is ready to work for implementation of a computational grid project.

V. Expected Effects The system management and operating know- how would be good examples for laboratory level, which requires cluster system of high performance computing in low cost. In the view of resource collaboration, the basic infrastructure of grid environment was established through stable supply of computing power. It would make the position of national grid technology higher against rapid varying IT environment.