고성능 클러스터 자원 제공을 통한 컴퓨팅 그리드 구축

Abstract

I. 제 목 고성능 클러스터 자원 제공을 통한 컴퓨팅 그리드 구축

II. 연구개발의 목적 및 중요성 본 연구는 고성능 클러스터 자원 제공을 통한 컴퓨팅 그리드 구축을 목적으로 한다. 본 연구 책임자의 연구실에는 56 CPU를 사용하는 고성능 클러스터 시스템이 있다. Intel Pentium III 933Mhz의 CPU를 두개씩 탑재한 컴퓨터가 16대가 있으며 Intel Pentium III 733Mhz 의 CPU를 탑재한 고성능 클러스터용 컴퓨터가 24대 있다. 전자는 Myricom사의 Myrinet 2000을 이용하여 노드당 초당 4기가비트(전송 2기가비트 + 수신 2기가비트로 합이 4기가 비트) 대역폭을 갖는 고성능 네트워크로 연결되어 있으며, 후자는 Myricom사의 Myrinet을 이용하여 노드당 초당 2.56기가비트(전송 1.28기가 비트 + 수신 1.28기가 비트로 합이 2.56기가 비트)의 대역폭을 갖는 고성능 네트워크로 연결되어 있다. 이러한 고성능 컴퓨터 자원을 국내 과학자들과 효율적으로 공유하기 위해서 Globus Toolkit 2.2 및 기타 그리드 지원 소프트웨어를 개발 또는 지원할 것이다.

III. 연구개발의 내용 및 범위 본 연구에서 수행하고자 하는 연구는 국내외 슈퍼컴퓨터와 고성능 클러스터를 단일 자원처럼 연동할 수 있는 그리드 테스트베드를 구축하기 위한 자원 확보를 지원하기 위한다. 이를 위해서 본 연구 책임자의 연구실에서는 고성능 클러스터 시스템을 그리드 시스템에 연동시키기 위한 지원을 수행한다. 본 연구 책임자의 연구실에서 지원할 클러스터 시스템에는 Linux 2.4.2를 사용하고 있다. 이 시스템에 Globus 2.2를 설치하여 현재 그리드 연동 테스트를 수행중에 있다. 이 테스트를 국가적 그리드 시스템에 적용시키기 위한 방법을 연구하도록 한다. 본 연구 책임자의 연구실에는 56 CPU의 클러스터 시스템을 보유하고 있다. 우선 16대의 Pentuim III 933Mhz CPU를 두개씩 장착한 메모리 256메가 바이트의 고성능 클러스터 시스템이 있다. 이 시스템은 리눅스 커널 2.4.2를 사용하고 있으며 Globus Toolkit 2.2를 지원하고 있다. 이 시스템은 두개의 개별 네트워크를 가지고 있다. 우선 기가 대역의 초고속 네트워크로 Myricom사의 Myrinet 2000을 사용하고 있다. Myrinet 2000은 양방향 각각 초당 2기가비트의 대역폭을 제공하는 초고속 네트워크로 일반 PC의 주변장 치 연결 버스인 PCI보다 2배정도 빠른 속도를 제공하고 있다. 이를 위해서 Myrinet 2000으로 연결된 시스템은 PCI 시스템도 보다 좋은 사양을 사용해야 한다. 또한 100메가비트의 고속 이더넷을 32포트의 스위칭 허브를 통해 연결되어 있다. 이 두개의 네트워크를 공통적으로 사용하여 보다 유연성있는 시스템의 구축이 가능하다. 그리고 24대의 Intel사의 Pentium III 733 Mhz CPU를 탑재한 메모리 128메가 바이트의 고성능 클러스터 시스템이 있다. 이 시스템에도 역시 리눅스 커널 2.4.2를 사용하고 있으며 Globus Toolkit 2.2가 설치되어 있다. 이 시스템도 역시 두개의 네트워크 시스템을 가지고 있다. 우선 Myricom사의 Myrinet을 이용한 네트워크이다. 이 네트워크는 양방향 각 초당 1.28기가비트의 대역폭을 지닌 초고속 네트워크이다. 또한 초당 100 메가비트의 대역폭을 지닌 고속 이더넷을 32포트의 스위칭 허브를 통해 연결되어 있다. 두 시스템은 현재의 메모리 용량이 조금 부족하다고 할 수 있으나 조만간 이를 확충할 계획이다. 포항공과 대학교의 네트워크는 KREONET(연구전산망)에 연결되어 있고 HP V2500 슈퍼컴퓨터를 보유하고 있으며 2002년에 이 슈퍼컴퓨터가 국가 그리드 시스템에 연동되었다. 이 슈퍼컴퓨터와 더불어 본 연구를 통한 고성능 클러스터 시스템의 제공으로 국가 그리드 시스템의 구축에 적극 기여할 것으로 사료된다.

IV. 연구개발결과 현재 그리드 자원의 일부로 동작하기 위한 고성능 클러스터를 구축하였다. 각 클러스터 노드의 운영체제는 리눅스 7.3을 기반으로 하였고 그리드 미들웨어는 글로버스 2.2.4를 설치하였다. 모든 사람들에게 작업을 공정하게 할당하도록 하기 위해서 PBS 일괄 처리 큐잉 시스템을 설치하였고 이 것은 클러스터 노드가 사용가능할 때마다 작업이 할당되게 한다. 또한 구축된 클러스터 자원은 MPICH- G2 1.2.5가 설치되어 병렬 작업이 할당 될수 있도록 한다. 따라서 사용자는 순차적 작업 또는 병렬 작업을 실행시킬 수 있도록 하였다. 클러스터 자원은 TCP Wrapper를 사용하여 비 신뢰적인 외부의 접근에 대해서 차단하도록 하였기 때문에 보안면에 있어서도 매우 안전하다. KISTI 주관 연동 테스트를 통해서 이미 시스템이 매우 안정 적으로 동작하고 정상 동작함을 확인하였다. 웹 상으로 클러스터의 상태를 모니터링 할 수 있는 SCMSWEB 서비스도 설치가 되어 클러스터의 상태를 확인가능하다.

V. 연구개발의 활용에 대한 건의 서로 다른 기관들 간에 독자적으로 그리드 구축을 위한 글로버스를 설치 하다보니 상호간에 정보 교류가 쉽지가 않은 실정이다. 예를 들면 클러스터 같은 자원인 경우에는 그 설치 방법이 대부분 대동소이하다. 각 기관에서 글로버스를 독립적으로 설치하여 쉽게 성공할 수 있으면 별문제가 없지만 초보자에게는 매우 고역일 것이다. 이럴 경우 미리 설치 경험이 있는 전문가와 정보 교류가 잘 되어 있어서 프로그램 설치에 대한 정보를 공유 할 수 있다면 일이 훨씬 빨리 진행 될 것이다. 그리고 전체 기관의 글로버스 연동이 성공하게 되면 그 과정이 어떠했는지 그리고 어디까지 진행되었는지에 대해서 연동을 진행한 기관에서만 알것이 아니라 모든 기관들이 그 정보를 공유하는 것이 필요하다. 독립적인 기관에서도 전체적으로 일이 어떻게 진행되는지 알아야지만 자신의 현재 위치를 알고 향후 나갈 방향을 잡을 수 있기 때문이다. 앞으로 훨씬 더 좋은 성능의 클러스터 자원을 제공하기 위해서는 많은 패키지를 설치해야 할 것으로 예상된다. 미리 패키지에 대한 사전지식에 대해서 전해주고 그것의 중요성, 그리고 동작이 성공했을 때의 결과 등에 대해서 알려 줄 필요가 있다. 이렇게 되었을 때 패키지를 설치하는 각 기관에서는 당황하지 않고 일을 수행할 수 있게 된다.

VI. 기 대 효 과 본 연구를 통해서 국가 그리드 구축을 위한 테스트베드(Testbed)를 만들 수 있다. 이 테스트베드를 이용하여 추후 국가 그리드 시스템을 구축하기 위한 기반 기술을 익힐 수 있으며, 그 기술을 통해서 높은 그리드 시스템을 구축할 수 있다. 그리고 구축된 그리드 시스템은 다른 과학 기술 및 사회 과학 발전을 위한 계산 목적의 그리드 시스템으로 사용될 수 있을 것이며, 그것을 통해서 많은 학문적, 기술적 발전을 가져올 수 있을 것이다.

I. Title Implementation of a Computational Grid based on Support from High-Performance Cluster Resources

II. Objective of the study and its importance The aim of this research is to build a computing Grid by providing high- performance cluster resources. We have a high performance cluster system that has 56 CPU resources. Each of 16 nodes in that has 2 CPUs (which operates 933MHz) and each of 24 nodes has 1 CPU (which operates 733Mhz). All of these CPUs are Intel processors. The former are connected via high performance network called Myrinet which is from Myricom company), producing 4 Giga bits per second in bandwidth while the latter are connected via also Myrinet but producing 2.56 Giga bit per second. To share these high performance computing resources with domestic scientists, we""ll develop or support Globus Toolkit 2.2 or other softwares.

III. Content and scope of the study This research focuses on supporting resources to build Grid infrastructure consisting of several resources such as super computer or high performance clusters. To accomplish this, we""ll support high performance cluster systems to interact with other grid resources. We""re currently using Linux 2.4.2 Operating systems on cluster. This system is also under testing Grid operations by installing Globus 2.2 middleware. The research is totally focused on application of this cluster resources to domestic Grid testbed system. We have a system that consists of 56 CPUs. Each of 16 nodes in that system has Pentium III 933Mhz based CPU and 256 Mbytes memory. This system uses linux kernel 2.4.2 and supports Globus Tookit 2.2.4. This system has two separate networks. First of all, it uses Myrinet 2000 system from Myricom company. Myrinet 2000 provides 2 Gbit/s in bandwidth, which is more faster than those of PCI components by a factor of two. Because of that, a system connected with Myrinet 2000 should use a better component. Also it is connected with 32 ports switching hub that operates 100Mbit/s. A flexible system can be build by using thsese two networks in common. And we have a cluster system that have 24 nodes each of which has Intel based 733 MHz CPU and 128 Mbytes of memory. This system also has linux operating system, version kernel 2.4.2 and Globus toolkit 2.2. This system is connected with Myrinet 1280 which produces 1.28 Gbit/s. Two systems are currently deficient in memory but we""ll compensate it soon. Network in POSTECH was constructed in the early term of year 2003 attaching to KREONET and POSTECH has HP V2500 supercomputer which is used in the national Grid system. Our cluster system together with this supercomputer is expected to contribute to building the national Grid system.

IV. Result of the study We build a high performance cluster system that can be a part of resources in the national wide Grid. Each operating system is based on Linux 7.3 and Globus 2.2.4 is installed as a Grid middleware. To distributed a Grid job fairly to people who want to use resources, PBS batch queuing system is installed, which allocated jobs whenever an idle nodes are found. Also, MPICH- 1.2.5 was installed to run the job in parallel. Therefore, users can execute the sequential or parallel job as they wish. Cluster resources are fundamentally blocked off from outside attack by using TCP Wrapper, this will keep secure system. We confirmed that our system is highly reliable and operates in normal by tesing KISTI co- operating tests. SCMSWEB service, the service that provides monitoring service of cluster via WWWhas been installed and status of cluster can be monitored on the WWW.

V. Suggestion for utilization It""s not easy to communicate with information among the different institutions because the Globus toolkit is installed on them separately. For example, in case of cluster resources, the installation procedure is almost the same. If that installation is successful on each institution, that is not a problem but it""s very burdensome for beginner to Globus toolkit. In this case, the fast sharing of information between expert who has experiences in installing will accelerate the work. And after accomplishing the interacting test on Globus systems, all information from that should be shared among not only the institution that accomplish the work but also other independent institutions. We can get in our way well after each institution is able to be aware of the current situation. In the future, we expect that more packages must be installed on cluster resources for high performance. We need to get information of those packages in advance. That is, we have to be notified of the importance of those packages and the results when the installation was successful. We can work well after this works well.

VI. Expected Effects We can build the national Grid testbed by this research. If we use this testbed, we can learn the technologies based on building national wide Grid system afterwards, through which high performance Grid can be constructed. And the system will be used in scientific and social department or other computing- purpose field. This will bring to develop the knowledge and technology.