BT 그리드 환경을 위한 메타 스케줄링 프레임워크의 개발

Abstract

I. 제 목 BT 그리드 환경을 위한 메타 스케줄링 프레임워크의 개발 II. 연구개발의 목적 및 중요성 본 연구는 기존의 글로버스 기반으로 구축된 그리드 자원을 효율적으로 운용할 수 있고, 그리드 사용자에게 보다 세밀하게 작업을 제어할 수 있는 방법을 지원하며, 편리한 사용자 인터페이스 환경을 제공하는 메타 스케줄링 프레임워크 (Meta Scheduling Framework)를 개발하는 것을 목적으로 한다. 그리드를 구성하는 핵심 요소로서 미들웨어 부분을 담당하는 글로버스는 아래 계층에 있는 이기종의 자원들을 그리드 작업에 이용될 수 있도록 서로 연결/관리하며, 상위 응용 계층에서 필요한 서비스를 제공하는 역할을 한다. 그러나 글로버스 툴킷은 아직까지 하위계층의 자원에 대한 관리 등 기본적인 서비스만을 제공하고 있으며, 응용 계층에서 필요로 하는 워크플로우 시스템 등과 같은 기능을 제공하지 못하고 있다. 그래서 그리드 미들웨어에 대한 연구와는 별도로 다른 많은 연구기관에서 그리드에 적용할 수 있는 응용에 대한 연구를 하고 있으며, 더불어 해당 응용에서 필요로 하는 요구사항에 대한 서비스를 제공하기 위한 연구를 수행하고 있다. MSF는 글로버스에 기반을 둔 상위 응용에 대한 요구사항을 수용할 수 있는 기본 구조를 개발하는데 그 목적이 있으며, 다른 연구기관에서 개발되는 서비스를 통합하여 이용할 수도 있는 확장성을 갖는 기반 구조를 연구한다. 이러한 연구 개발은 그리드를 사용하고자 하는 응용에 있어서 반드시 필요한 부분이다.

III. 연구개발의 내용 및 범위 1) 작업제어언어와 통합된 워크플로우 시스템의 개발 작업제어언어(JCML)는 그리드를 이용하는 작업의 흐름을 제어할 수 있는 확장형 마크업 언어(XML)로 설계되며, 기존의 RSL 형식의 부족한 부분을 향상시켜서 작업들 간의 의존성 및 제약 사항을 자세히 기술할 수 있도록 개발한다. 그리고 워크 플로우 시스템은 사용자가 직관적으로 이해할 수 있도록 GUI 기반의 비주얼 환경을 제공하여 간단한 조작만으로도 복잡한 작업 지시를 수행할 수 있도록 구현한다. 2) 메타 스케줄링 프레임워크를 위한 기본 구성 요소의 구현 MSF는 글로버스를 이용하여 구축한 그리드 인프라를 이용하여 사용자의 작업을 최적의 환경에서 수행될 수 있도록 서비스를 제공하며, 사용자 관리 를 지원하는 AM (Access Manager), 그리드 자원 관리를 담당하는 RM (Resource Manager), 사용자 작업관리를 담당하는 EM (Execution Manager), 시스템 복구와 중요 정보의 저장, 검색을 담당하는 IR (Information Repository)로 구성한다. IV. 중간 연구개발 결과 1) MSF 기반 구조의 기초 설계 2) 글로버스 기반 그리드 시스템에서 수행되는 작업을 워크플로우의 형태로 기술할 수 있는 JCML 언어의 개발 3) GUI를 이용하여 JCML 언어를 편집할 수 있는 편집기의 개발 4) JCML로 작성된 워크플로우를 그리드 시스템 상에서 수행할 수 있는 워크플로우 엔진의 시제품(prototype) 개발 V. 연구개발의 활용에 대한 건의 1) 그리드 응용 연구의 기반 프레임워크로 사용 MSF를 이용하면 글로버스 미들웨어에서 제공하지 않는 워크플로우 엔진 등의 기능을 그리드 시스템에 적용할 수 있다. 현재 글로버스 미들웨어에서 제공하는 기능만으로는 응용 연구에 필요한 작업 관리 및 스케줄링 기능을 충분히 구현할 수 없어, 이러한 기능들을 응용 연구자가 구현하여야 한다.

MSF를 이용하면 시스템의 작업 관리 기능 및 스케줄링 기능 등을 개발하는 부담이 줄고, 응용 연구의 응용 대상에 보다 집중할 수 있어, 응용 연구의 생산성을 높일 수 있다. 2) 그리드 브라우저의 개발에 이용 현재 그리드 시스템의 보급에 가장 큰 문제는 사용법을 익히기가 힘든 사용자 인터페이스의 문제이다. 메타 스케줄링 프레임워크에서는 GUI 기반의 편집기로 워크플로우를 편집하여 그리드 시스템 상에서 수행할 수 있도록 하는 기능을 제공한다. 이러한 기능을 기반으로 작업 모니터링, 메타 데이터 검색 등을 통합한다면 사용하기 쉽고 강력한 GUI 기반의 그리드 브라우저를 개발할 수 있다. VI. 기 대 효 과 1) 그리드를 활용하는 응용에 대한 기술적인 접근방법을 습득하여 다른 응용에 대해서 그리드에 쉽게 이식할 수 있는 기술을 확보할 수 있다. 2) 보다 정밀한 작업 지시가 가능하여 최적의 자원 스케줄링이 가능하여 기존 자원의 효율성을 향상시킬 수 있다. 3) 본 연구는 그리드 하부구조와 응용계층의 전반에 걸친 기술을 습득하고 발전시키는 과제로서 그리드와 관련한 국내 기술의 자립도를 높일 수 있다. 4) 컴퓨터 시스템의 사용에 능숙하지 못한 다른 학문 분야의 연구자도 쉽게 이용할 수 있으므로 연구의 질적 양적 향상을 도모하여 추가적인 경제적 가치 창조를 이룰 수 있다.

I. Title Development of Meta Scheduling Framework for BT Grid Computing Environments II. Objective of the study and its importance Objective of this research is to develop a Meta Scheduling Framework (MSF), which provides effective management of Globus- based Grid resources, fine- grained Grid job control, and convenient GUI- based user interface. The Globus toolkit, which is a popular Grid middleware, provides only basic services such as job management, data transfer, metadata management etc. And higher level services such as workflow and job scheduling, are not provided by the Globus toolkit. So, Grid application developers should spend lots of time to learn and use higher level Grid services. Out goal is to develop base architecture of MSF to provide this higher level Grid services The MSF has extensible architecture which adapts new Grid services to be implemented in the future. III. Content and scope of the study 1) Development of Job Control Markup Language (JCML) integrated workflow system for Grid Environments JCML is an XML- formated job control language to provide workflow management functionality for Grid environments. It can describe dependancy relation among jobs and job constraint information. The workflow system provides to user GUI- based visual environments and a service to assign complex jobs with simple manipulation. 2) Implementation of basic components required by Meta Scheduling Framework. MSF provides optimized job execution environments for Globus- based Grid infrastructure. And MSF consists of four basic components - AM (Access Manager) manages account and user, RM (Resource Manager) manages resource, EM (Execution Manager) manages job, IR (Information Manager) manages metadata information required to integrate other components. IV. Midterm result of the study 1) Design of a basic architecture of MSF 2) Develop JCML, which is a Grid job control language 3) Implement a GUI- based JCML editor 4) Implement a prototype of the MSF workflow system V. Suggestion for utilization 1) Base framework for Grid application research MSF provides high- level services, such as workflow and job scheduling, which are not provided by the Globus toolkit. By using this service, Grid users can concentrate on their own applications, so their productivity can be increased. 2) Using at development of Grid browser By user""s appoint of view, user interface of Grid system is difficult to learn and to use. MSF provides GUI based editor which edits workflow of grid jobs. If we integrate this function with another components providing job monitoring and metadata searching, Grid browser""s basic function could be implemented with ease. VI. Expected Effects 1) Technological experience of practical grid application can be obtained and it could be used on other grid applications. 2) Job control on Grid system can be more fine- grained and effectiveness of resource could be increased by more optimized scheduling. 3) Improve independency of national Grid technology related with grid application researches. 4) Improve quality and quantity of engineering and scientific researches which require large computing power by providing easy and effective computing environments to researchers.