질의작성 및 적합문헌 선정

Abstract

광범위한 분야를 포괄하기 위하여 검색대상의 분야를 우선 10개 분야로 나누고 이를 다시 세분하였으며, 세분한 결과는 총류(6), 정치(7), 경제(5), 산업(5), 사회(6), 사건-사고(6), 문화(4), 과학(4), 스포츠(3), 국제(4)의 도합 50주제그룹이었다. 이 50주제그룹 중 분야가 넓은 것은 임의로 다시 몇 주제그룹로 나누었으며, 최종적으로 65주제그룹이 대상이 되었다. 대상이 되는 65주제그룹을 중심으로 질문의 요점을 작성하였다. 만들어진 질문의 요점은 총류(12), 정치(13), 경제(23), 산업(20), 사회(16), 사건-사고(9), 문화(23), 과학(5), 스포츠(7), 국제(14)로 총 142개였다. 일단 142개에 대한 질의문을 작성하여 사전검색을 실시하고 그 중에서 가장 적당하다고 생각되는 검색식을 선정하였다. 선정 및 작성된 50개의 질의문을 연구개발정보센터와 협의하여 수정하였다.<BR/>최종 결정된 질의문에 대하여 연구개발정보센터는 정식 테스트셋을 대상으로 검색된 질의문당 1000건, 도합 50,000건의 전문데이터를 제공하였다. 검색된 문헌데이터에 대하여 두 평가팀이 각각 평가하고 이를 종합하여 결과를 보고하였다.<BR/>적합성을 판정한 결과를 보면 다음과 같다.<BR/>50,000건의 검색문헌 중, A팀이 판정한 전체 적합문헌건수는 761건, B팀이 판정한 전체 적합문헌건수는 2,295건이며, 두 팀의 공히 적합하다고 판정한 일치건수는 454건이었다. 검색결과 50,000건에 대하여 A, B 두 팀을 합친 총적합문헌 건수는 2,602건(5.2%)이었다. 따라서 A팀의 질의문당 평균적합문헌 건수는 15.22건, B팀의 질의문당 평균적합문헌 건수는 45.9건, 전체 질의문당 평균적합문헌 건수는 52.04건이었다. 총적합문헌 건수 2,602건에 대한 두 팀의 일치율은 17.5%였다.<BR/>