1. 배경
지금까지 한국 내 학술 연구실적에 대한 분석에서는 유명 글로벌 저널 인덱스에 등재되어 있는 문서들을 중심으로 해당 글로벌 인덱스를 생산하는 글로벌 업체들이 인덱스 내 문서들을 기반으로 제공하는 연구 분석 도구에 기반하여 분석해 왔다. 다만, 이러한 분석에서는 국내에서의 다양한 연구실적을 모두 포함한 분석이 아니어서 전체를 파악하기에는 분명한 한계가 있다는 언급을 덧붙여 왔다.
흔히 SCI로 유명한 Web of Science 계열의 글로벌 저널 인덱스와 Scopus로 널리 알려진 Elsevier의 저널 인덱스에 등재되어 있는 학술 문서들의 분석을 통하여 비록 전체 문서의 분석은 아니나 어느 정도의 흐름을 파악하는 정도까지 진행한 것이 현재까지 한국 연구실적 분석에서 가능한 범위였다. 네이버 학술정보팀은 학계에서의 다양한 목소리에 귀를 기울여서 글로벌 인덱스 중심의 연구평가가 뚜렷한 한계가 있음을 파악하고 네이버 학술정보가 확보한 2억여건의 한국 및 글로벌 학술 메타데이터를 기반으로 2018년부터 새로운 연구평가 플랫폼을 개발하기 시작하였으며, 약 2년 간의 개발 기간을 거친 후 2020년 8월에 스칼리틱스라는 연구평가 서비스를 오픈하였다.
본 글에서는 스칼리틱스에서 산출 가능한 지표를 통해서 글로벌 인덱스 문서 기준과 해당 인덱스 문서를 포함한 전체 문서 기준의 연구성과지표를 비교하여서, 글로벌 인덱스의 관점을 넘어선 한국 내 연구 실적이 어떤 모습으로 나타나는지를 대략적이라도 확인할 수 있도록 소개하고자 한다.
2. 글로벌 인덱스에서의 국내 저널 수
글로벌 인덱스가 한국 학술 연구 문서들을 얼마나 다루고 있는지를 파악하려면 간단하게는 글로벌 인덱스에 포함된 저널에 한국어 기반 학술저널이 포함된 비중이 얼마나 되는지를 살펴보면 알 수 있다. Web of Science 계열의 SCIE, A&HCI, SSCI나 Elsevier의 Scopus는 공개된 리스트에서 인덱스에 포함된 저널들의 사용 언어를 표기해 두고 있고, 이 중 한국어로 언어 표기된 저널과 한국어 및 영어로 표기된 언어 표기된 저널들을 체크하면 해당 저널 인덱스 내에서 한국어 논문을 다루고 있는 저널의 비중을 알 수 있다. 한국연구재단의 국내 우수 저널들의 인덱스인 KCI의 경우, 사용 언어를 공개리스트에 표기해 두고 있지는 않아서 학술지 이름에 한국어가 포함되어 있는지를 체크하여 간접적으로 사용 언어를 추정할 수 있다.
[표 1] Scopus, 그리고 SCIE 등의 Web of Science 계열 인덱스와 KCI 내에서의 한국어 저널 비중 추정 (2020년 12월 기준)
상기 표 1에서와 같이 글로벌 인덱스들에서는 한국어 저널 비중이 1% 미만으로 나타나서 각각 50개 미만의 저널이 한국어 논문을 다루고 있는 것으로 나타나며, KCI에서는 한국어 학술지가 2천2백개 이상으로 전체 KCI에 등재된 저널의 80%가 넘는 것으로 나타나고 있다. 따라서 글로벌 인덱스의 문서들만으로 연구 실적을 체크할 경우 상당히 많은 부분을 놓치고 있을 수 밖에 없음을 알 수 있다.
3. 문서당 인용수의 한계 및 대안
학술 성과를 파악하기 위해서는 여러 가지 다양한 지표들을 두루 살펴야 한다. 그 중에서도 인용수는 학술 논문이 얼마나 널리 활용되는지를 잘 나타내는 지표로 널리 사용되어 왔다. 개별 문서가 아닌 연구자나 기관을 평가할 때는 문서당 인용수로 표기하여 Citation Impact라는 지표로 명명하여 비교해 왔다.
하지만 문서당 인용수는 인용수의 가치가 연구 분야나 발행연도별로 다를 수 밖에 없다는 근본적인 한계를 갖고 있다. 예를 들어서 5라는 인용수가 의학이나 공학과 같이 인용이 빈번히 일어나는 분야에서는 큰 수치가 아닐 수 있는 반면, 평균적인 인용수가 낮은 인문사회쪽의 다수의 분야들에서는 상당히 큰 수치일 수도 있다. 그래서 과거의 연구 성과 분석에서는 문서당 인용수를 기준으로 분석을 할 때는 카테고리별 비중까지 살펴서 비교가 가능한지를 같이 언급하는 경우가 많았다. 또한 발행연도를 기준으로 살펴보면 10년 전에 발행된 논문이 최근 1~2년 전에 발행된 논문보다 많은 누적 인용수를 가질 확률이 당연하게도 높으며, 따라서 같은 인용수라도 발행연도에 따라서는 다른 가치를 가지고 있음을 알 수 있다.
이러한 두 가지 문제점을 해결하기 위해 태어난 것이 연구평가 플랫폼이며, 2014년부터 Scopus 기반으로 시작된 SciVal, 그리고 Web of Science 기반으로 시작된 InCites와 같은 연구평가 플랫폼에서는 문서당 인용수를 카테고리별, 그리고 발행연도별로 정규화시켜서 동일한 숫자로 여러 카테고리를 넘나들며 비교를 할 수 있는 체계를 만들었다. 이를 위해서는 전체 카테고리의 전 세계 문서를 계산한 후에 분석할 문서와 비교를 해야 하는데, 이러한 분석은 플랫폼으로 구축하지 않으면 계산이 불가능하게 된다.
그렇게 해서 탄생한 지표가 FWCI (Field-weighted Citation Impact)이며, 플랫폼에 따라서는 CNCI (Category Normalized Citation Impact)라고도 불리운다. 즉, 연구평가 플랫폼이 생기기 전에는 문서당 인용수가 연구평가의 핵심적인 지표였으나, 2014년부터 SciVal과 InCites를 시작으로 연구평가 플랫폼이 생긴 이후로는 FWCI가 핵심적인 연구평가 지표로 등장하게 되었다.
[그림 1] 연구평가 핵심 지표의 변화 (Citation Impact와 FWCI 혹은 CNCI)
본 글의 분석에서 데이터 산출을 위해 주로 사용된 스칼리틱스에서는 FWCI라는 용어를 사용하고 있으며, 아래에서 설명하는 분석에서도 FWCI라고 부르기로 한다.
4. FWCI의 해석
FWCI는 동일한 그룹을 기준으로 세계 평균을 낸 다음 내 문서를 세계 평균에 비교하는 방식으로 계산을 하게 된다. 여기서 동일한 그룹은 동일한 발행연도, 동일한 분야, 동일한 문서 타입인 문서들의 집합을 말한다.
발행연도는 각 문서가 발행된 연도이며, 종이 저널과 온라인 버전의 저널이 발행연도가 다를 경우 보통 둘 중 빠른 연도를 발행연도로 본다. 동일한 분야는 동일한 카테고리를 의미하고, 큰 카테고리 분류와 하위의 카테고리 분류가 같이 존재하는 경우 보통 하위 카테고리 분류 기준으로 나누어서 150개에서 250개 사이의 세부 분야로 나누는 것이 일반적이다. 동일한 문서 타입은 논문, 학술발표자료, 책, 리포트 등의 종류들이 있다. FWCI의 계산은 다소 복잡한 반면 해석은 간단한데, FWCI가 1이면 동일 그룹 전 세계 평균과 동일한 성과를 의미하며, 2면 동일 그룹보다 2배 성과를 낸 것이고, 0.5는 동일 그룹의 절반의 성과를 낸 것을 의미한다.
[표 2] FWCI의 해석
5. 분석 사례
(1) 국가별 분석
이상의 FWCI 해석 방법을 바탕으로 큰 단위부터 작은 단위로 내려가면서 살펴보려고 하며, 가장 큰 단위인 국가별로 2016년부터 2018년 사이에 발행된 학술논문 기준으로 Scopus 그리고 SCIE, A&HCI, SSCI와 같은 글로벌 인덱스에 등재된 문서 기준과 해당 글로벌 인덱스를 포함해서 같은 발행기간 동안의 전체 문서 기준의 두 가지 기준으로 정리하였다.
[그림 2] 글로벌 인덱스 기준 국가별 FWCI Vs. 전체 문서 기준 국가별 FWCI (2016년~2018년 발행문서, 스칼리틱스)
[표 3] 글로벌 인덱스 기준 국가별 FWCI Vs. 전체 문서 기준 국가별 FWCI (2016년~2018년 발행문서, 스칼리틱스)
상기 그림 2의 그래프에서와 같이 다른 국가는 글로벌 인덱스 기준과 전체 문서 기준의 차이가 크지 않으나 한국과 일본은 유독 글로벌 인덱스 대비 전체 문서 기준의 FWCI는 크게 낮게 나온다. 이는 스칼리틱스에서 한국은 글로벌 출판사들의 데이터 뿐만 아니라 KISTI와 한국연구재단의 문서가 포함되어 있고, 일본은 CiNii의 문서가 포함되어 있어서 나타나는 결과이며, 로컬 언어의 학술논문이 다수 포함된 경우는 글로벌 인덱스 기준 대비 전체 문서 기준 FWCI가 큰 폭으로 떨어짐을 알 수 있다. 예를 들어서 한국의 경우 표 4에서 볼 수 있듯이 2016년부터 2018년까지 로컬 데이터문서들로 인하여 스칼리틱스에서 식별된 학술 논문의 전체 수량은 글로벌 인덱스 기준 문서의 2배가 넘으며, 따라서 로컬 데이터의 문서가 전체 문서 기준의 FWCI 수치에 큰 영향을 준 것을 알 수 있다.
[표 4] 한국 FWCI 및 문서 수 (2016년~2018년 발행문서, 스칼리틱스)
이러한 현상은 글로벌 인덱스에 속한 저널들의 문서들이 평균적으로는 나머지 문서들에 비해서 높은 성과를 보이고 있기 때문으로 추정해 볼 수 있다. 따라서 국내 대학이나 기관 사이의 비교가 아닌 국가간의 비교와 해외의 대학이나 기관과의 비교는 글로벌 인덱스 관점으로 살펴보는 것이 이러한 지표 간섭을 피할 수 있는 방법임을 알 수 있다.
(2) 종합대학 분석
대학과 기관 단위로 내려오면 국가별 비교 때와는 다른 시각을 얻을 수 있다.
[표 5] 한국 종합대학별 FWCI 비교 (2016년~2018년 발행문서, 스칼리틱스)
상기 표 5에서는 한국 내 종합대학 일부의 글로벌 인덱스 기준 및 전체 문서 기준 FWCI를 비교하였다. 표에 있는 5개 학교의 경우 앞서 본 한국 국가 전체의 FWCI 하락폭과 유사하게 글로벌 인덱스 기준 대비 전체 문서 기준의 FWCI는 떨어짐을 볼 수 있다. 그러나 세부적으로 살펴 보면 경희대학교와 아주대학교만을 비교할 경우 글로벌 인덱스 기준으로는 차이가 있음에도 불구하고, 전체 문서 기준으로 보면 동일한 숫자의 FWCI를 보인다는 것을 알 수 있다. 즉, 글로벌 인덱스 기준의 평가를 진행한다면 경희대학교의 성과가 나아 보이지만, 전체 문서 기준으로 조금 살펴보면 사실상 성과가 비슷하다는 것이다. 이는 글로벌 인덱스 기준으로만 비교할 경우 국내 대학간의 비교에서는 실제 받아야 할 평가를 제대로 못 받는 불리한 대학이 반드시 존재할 수 밖에 없음을 보여준다.
(3) 과학기술대학 분석
대학간 비교를 과학기술대학으로 한정하여 보면 또 다른 시각을 얻을 수 있다.
[표 6] 한국 과학기술대학별 FWCI 비교 (2016년~2018년 발행문서, 스칼리틱스)
상기 표 6에서는 한국의 대표적인 과학기술대학들의 FWCI를 비교한 것이며, 글로벌 인덱스 기준 대비 전체 문서 기준의 FWCI가 거의 비슷하여서 별로 많이 떨어지지 않음을 보여준다. 즉, 분야별로도 차이가 있음을 알 수 있으며, 흔히 한국이 세계적으로 앞서가는 것으로 알려진 분야의 경우 글로벌 인덱스 기준의 FWCI와 전체 문서 기준 FWCI의 차이가 크지 않음을 알 수 있다.
(4) 카테고리별 분석
앞선 분석에서 분야의 차이가 큰 차이를 낼 수 있음을 알게 되었으므로, 몇몇 카테고리를 더 살펴보면 분야별로 큰 편차가 있음을 알 수 있다.
[표 7] 카테고리별 FWCI 비교 (2016년~2018년 발행문서, 스칼리틱스)
상기 표 7에서는 스칼리틱스 내 카테고리별 FWCI를 비교하였는데, 법학과 음악 분야는 글로벌 대비 큰 성과 차이가 있으나 물리학과 전기전자공학분야에서는 큰 차이가 없음을 알 수 있다. 한국문학의 경우는 조금 극단적인 경우라고 할 수 있는데, 대부분의 한국문학 분야 연구가 한국 내에서 진행되고 글로벌 인덱스에 거의 포함되지 않아서 사실상 한국의 실적이 전 세계 평균에 해당하는 실적이 되어서 한국 전체 문서 기준의 FWCI가 1에 수렴하게 된다. 즉, 한국에서의 평균이 전 세계 평균이 되는 셈이다. 이러한 분야의 경우는 글로벌 인덱스 기준의 FWCI가 산출되지 않는다. 이와 같이 글로벌 인덱스에 원천적으로 포함되지 않는 분야들도 존재한다.
(5) 특정 문서 경우
개별 연구자와 같이 더 세부 단위로 내려오면 이러한 편차는 더 심해지나 연구자분들의 실명 거론이 불편할 수 있어서 이를 건너뛰고, 그 보다 더 아래 단계인 문서 단위로 살펴보고자 한다.
[그림 3] 특정 문서의 예 (네이버 학술정보)
[표 8] 그림 3 문서의 세부 사항 (스칼리틱스, 네이버 학술정보)
상기 그림 3에서와 같이 ‘감각중심 디지털문화와 포스트휴먼 징후로서 호모 센수스의 출현’이라는 논문을 보면 2015년에 발행된 논문이며, KCI에만 포함된 논문이어서 글로벌 인덱스에 포함되어 있지 않은 논문이다. 인용수는 2020년 12월 기준으로 22번이었고, FWCI로 계산해 보면 3.64가 나와서 동일그룹 대비 3.64배 높은 성과라는 것을 알 수 있다. 전 세계 대학 중 가장 높은 FWCI를 보이는 대학들은 미국 내 MIT, 카테기멜론대학, 캘리포니아공과대학 등의 유명한 공학 중심 대학들이며, 이들의 평균 FWCI가 3보다 낮게 나온다는 점을 감안하면 매우 높은 수치의 성과이다. 즉, 연구자 단위와 문서 단위까지 내려오면 편차가 매우 심해지며, 글로벌 인덱스로만으로 평가할 경우 제대로 된 평가가 이루어 지지 못하는 경우가 많을 수 밖에 없음을 보여준다.
6. 맺음말
이상으로 스칼리틱스에서 볼 수 있는 실제 FWCI 지표를 기준으로 보는 시각을 큰 단위에서 작은 단위로 좁혀가면서 살펴 보았다. 정리해 보면 국가별 학술 실적 비교에서는 글로벌 인덱스 관점으로 보는 것이 적절하다. 이는 로컬 데이터가 대량으로 들어간 국가의 경우 지표가 뒤틀리는 경우가 발생하기 때문이다. 반면 기관이나 학교 단위로만 내려가도 글로벌 인덱스만 활용한 평가의 비교는 제한적으로만 의미가 있다는 것을 알 수 있다.
아울러 카테고리별로 편차가 상당히 심하며, 심지어는 글로벌 인덱스가 전혀 커버하지 못하는 분야도 나타난다. 가장 작은 단위인 연구자나 문서 단위로 세분화해서 들어가면 제대로 글로벌 인덱스 기준 만으로는 제대로 된 평가가 이루어 질 수 없음을 알 수 있다. 따라서 다양한 시각으로 균형 잡힌 연구평가를 수행할 수 있어야 연구평가의 원천적인 역할인 효율적인 연구 자원 배분과 연구자들에 대한 긍정적인 동기 부여가 제 역할을 할 수 있을 것이다.
[그림 4] 연구평가 플랫폼의 역할
