[우당 이슈브리프 No.11] 빅데이터를 활용한 국가 간 갈등/협력관계 연구의 성과와 한계
PDF 파일 다운로드 : [우당이슈브리프11호]빅데이터를 활용한 국가 간 갈등협력관계 연구의 성과와 한계(정승철, 2022년 2월)
빅데이터를 활용한 국가 간 갈등/협력관계 연구의 성과와 한계
정승철 (제주평화연구원 연구위원)
국가 간 관계를 정량화 하려는 다양한 시도
오늘날 빅데이터는 수많은 분야에서 주목받고 있다. 그 대표적인 예로 빅데이터 분석을 통해 소비자의 소비패턴을 파악하고 이를 마케팅에 활용하는 사례를 들 수 있다. 또한, 대선을 앞둔 2022년 2월 현재 언론보도 자료, 뉴스포털 사이트 검색량, 및 소셜 네트워크 서비스(SNS, social network service) 등을 분석하여 그 결과를 예측하려는 시도가 곳곳에서 벌어지고 있다.
국제관계 분야 역시 이러한 흐름에 맞추어 빅데이터를 활용해 국가 간 관계가 긍정/부정적인지를 측정한 연구가 주목받고 있다. 그동안 국제관계 분야에서도 다수의 연구자들이 양적연구방법을 활용한 각종 연구를 활발하게 수행해 왔다. 하지만 데이터를 구축하는 과정의 어려움으로 인해 국가 간의 관계를 정밀하게 측정하고 수치화하는 데에는 어려움이 있었다.
이에 따라 연구자들은 Correlates of War 프로젝트의 국가 간 무력분쟁 (Militarized Interstate Dispute: MID) 데이터 또는 Voeten, Strezhnev, and Bailley의 유엔총회투표 데이터(United Nations General Assembly Voting Data)를 활용하여 국가 간의 관계를 수량화하였다. 다만 이 데이터들은 두 국가 간의 관계를 정밀하게 측정하는데 한계가 있었다.
MID 데이터는 (종류에 따라 차이는 있지만) 특정 연도에 국가 간에 무력분쟁/전쟁이 발생하였는지에 따라 국가관계를 0(무력분쟁/전쟁 발생하지 않음) 또는 1(무력분쟁/전쟁 발생)로 구별, 입력하였다. 이를 통해 연구자들은 국가 간 무력분쟁 발생 가능성에 관한 연구를 진행할 수 있었다. 하지만 MID 데이터를 사용할 경우 무력분쟁과 같이 국가 간에 발생하는 가장 극단적인 갈등만을 측정할 수 있을 뿐 그 외 국가 간 빈번하게 발생하는 외교적 비난, 무역제재, 거절, 경고 등과 같이 무력을 동반하지 않는 다양한 갈등은 고려할 수 없었다. 또한, 정상회담 개최, 협정체결, 원조제공 등과 같은 국가 간 협력 사례도 MID 데이터를 통해서는 알 수가 없다. 이에 MID 데이터는 실제로 국가 간에 벌어지는 사건에 대해 누락되는 정보가 많기에 국가 간 관계를 세밀하게 측정하지 못한다는 단점이 있다 (Reuveny 2003; Kastner 2009).
유엔총회투표 데이터의 경우 특정 연도에 유엔총회결의안에 대해 같은 (찬성/반대/기권) 표를 행사한 비율을 바탕으로 S-score 혹은 Ideal Point를 산출하여 두 국가 간의 관계를 측정한다. 두 국가가 유엔총회결의안에 같은 표를 행사하는 비율이 높을수록 외교관계에 있어서 그들 간에 선호도 혹은 이해관계의 유사도가 높다고 보는 것이다. 그리고 이처럼 선호도와 이해관계의 유사도가 높은 국가들은 협력할 가능성이 높다는 연구결과를 바탕으로 이를 국가 간 관계를 측정하는 양적 데이터로 연구자들이 활용한 것이다. 하지만 유엔총회투표 데이터 역시 두 국가 사이의 직접적인 (갈등/협력) 상호작용을 기반으로 이들 간의 관계를 측정한 것은 아니라는 한계가 있다.
이벤트 데이터(event data)의 발전과정과 빅데이터의 출현
이처럼 여러 한계가 있음에도 불구하고 그동안 MID와 유엔총회투표 데이터를 활용하여 국가 간 관계를 수치화하였던 이유는 이외에 대안을 찾기 어려웠기 때문이다. 과거부터 국가 간의 관계를 정밀하게 측정하기 위해 언론기사를 사용하려는 시도가 여러 번 있었다. 언론기사를 기반으로 전 세계 각지에서 벌어진 사건에 대한 정보를 수집하고자 하는 학계의 노력은 1960년대와 1970년대부터 시작되었다. 당시에는 미국 국무부와 (국방부 산하 연구개발 조직 중 하나인) 고등연구계회국(Defense Advanced Research Projects Agency: DARPA)이 이러한 프로젝트들을 후원하였다. 그 결과 1970년대와 80년대 World Event/Interaction Survey (WEIS)와 Conflict and Peace Data Bank (COPDAB) 사건 데이터(event data)가 등장할 수 있었다. 두 데이터는 언론기사를 기반으로 두 국가 간에 발생한 사건에 관한 데이터를 수집, 이를 사건 종류별로 분류, 그리고 이를 휴먼코딩(human coding)을 통해 입력, 저장하는 방식으로 국가 간의 관계를 보다 직접적이고 정밀하게 측정하는 사건 데이터를 구축하였다. 하지만 휴먼코딩에 의존하다보니 많은 양의 언론기사를 분석하는 속도가 더디었으며 코딩과정에서 인간의 주관이 개입된다는 점, 그리고 코더(coder)에게 시간당 지불하는 비용에 대한 부담 등으로 인해 데이터를 확장하는데 한계가 있었고 (Schrodt and Yonamine 2013) 두 프로젝트 모두 1980년대를 전후로 중단되기에 이른다.
다만 1980년대 후반에는 Kansas Event Data Set(KEDS)을 중심으로 컴퓨터와 자동코딩 방식을 이용해 방대한 양의 데이터를 수집하고 이를 코딩하려는 시도가 시작되었다. 이처럼 머신코딩(machine coding)에 사용할 소프트웨어는 이 당시에 개발되기 시작하였지만 KEDS 역시 (그 당시 컴퓨터 발전 수준을 고려하면) 정보 수집 및 코딩에 사용할 수 있는 언론사와 기사의 수에 제한이 있었다.
하지만 이후 컴퓨터 기술은 꾸준히, 급속도로 발달하였고 이에 따라 1990년대 후반에 이르러서는 머신코딩이 휴먼코딩을 거의 모두 대체하는 단계에 이르렀다. 그리고 2009년에 DARPA의 후원을 받은 Integrated Crisis Early Warning System(ICEWS)이 등장함에 따라 29개의 국제, 지역 언론으로부터 정보를 추출하고 사건 데이터를 구축하는 것이 가능해졌다. 이어서 2013년에 이르러서는 마침내 수억 단위로 뉴스기사를 다루는 빅데이터GDELT(Global Database of Events, Language, and Tone)가 등장하였다.
GDELT는 머신코딩 방식을 통해 (GDELT2.0의 경우) 매일 쏟아지는 많은 양의 기사를 15분 단위로 수집, 분석, 코딩, 저장하고 있다. 보다 구체적으로, GDELT는 구글뉴스에 올라오는 영어권 혹은 비영어권 전 세계 언론기사를 TABARI (Textual Analysis By Augmented Replacement Instructions) 소프트웨어를 통해 분석하여 국가 간 발생한 사건의 날짜, 행위국가(Actor1), 대상국가(Actor2), 사건의 종류, 사건의 협력/갈등 수준에 대한 정보를 저장한다. (GDELT가 언론기사 분석을 위해 사용하는 TABARI 소프트웨어는 KEDS 프로젝트 당시 개발되었다.) 이처럼 컴퓨터와 소프트웨어가 발달함에 따라 방대한 양의 언론기사를 신속하게 수집 그로부터 필요한 정보를 추출, 코딩한 빅데이터를 국제관계 연구자들도 활용할 수 있게 되었다.
무엇보다도 GDELT의 장점은 주로 연도별로 업데이트, 발표해오던, 그리고 국가를 주요행위자로 간주한 기존 데이터들과 달리 연구자의 필요에 맞춰 유연하게 데이터를 가공할 수 있다는 것이다. 즉, 국가 간 관계를 일, 주, 월, 분기, 반기, 연도 등 연구자의 필요에 따라 기간을 조절할 수 있으며 또한 국가(주로 행정부) 외에도 입법부, 사법부, 군대, 기업, 환경단체, 시민단체, 미디어 등 행위자를 다양하게 설정, 정보를 추출할 수 있다. 따라서 연구자의 필요에 따라 한 국가의 정부와 다른 국가의 기업 간의 관계와 같은 경우도 정량적으로 측정할 수 있는 것이다.
다양한 데이터를 활용한 국가 간 갈등/협력 관계 측정
그렇다면 지금까지 언급한 다양한 데이터를 활용하여 국가 간의 관계를 측정한 결과는 어떤 모습일까? 과연 언론기사를 수집, 분석하는 빅데이터는 기존 데이터보다 국가 간의 관계를 더욱 세밀하게 측정하는 것을 가능하게 해주는가? 아래 그래프들은 한중관계를 수치화한 결과가 MID 데이터, 유엔총회투표 데이터, 그리고 GDELT에 따라 어떻게 다른지를 보여준다.
[그림 1] MID 데이터를 사용한 한중관계 측정 (2001-2014)
MID 데이터1를 사용하여 수치화한 한중관계의 모습은 [그림1]과 같다. MID 데이터는 “Threat to use force”, “Display of force”, “Use of force”혹은 “Interstate war”가 발생한 경우 해당연도에 두 국가 간에 무력분쟁이 있었다고 정의하고 이를 1로 입력한다. 반대로 양국 간 무력분쟁이 발생하지 않은 연도는 0으로 입력한다. 한국과 중국 사이에는 2001년부터 2014년 사이에 2002, 2010, 2011, 2013, 2014년에 무력분쟁이 발생하였고 그 외에는 무력분쟁이 부재하였기에 한중관계는 파란색 선과 같이 나타난다.
한편, 전투 사상자(battle-deaths) 1,000명 이상일 경우로 정의하는 전쟁(war)의 경우 2001년부터 2014년 사이에 한중 간에 발생하지 않았기에 0으로만 측정할 수 있다.
[그림 2] 유엔총회투표 데이터를 사용한 한중관계 측정 (2001-2014)
유엔총회투표 데이터2를 사용하여 수치화한 한중관계의 모습은 [그림2]와 같다. 유엔총회투표 데이터는 (범위가 –1.0에서 1.0 사이인) S-score를 통해 두 국가 간의 외교정책 선호도 혹은 공유하는 이익의 수준을 측정한다. s2un은 기권표 미포함하여 산출한, s3un은 기권표를 포함하여 산출한 S-score이다. (최근에는 한 단계 더 발전시킨 지표인 ideal point가 S-score를 대체하고 있다. 자세한 내용은 Bailey, Strezhnev, and Voeten (2017) 참고.) [그림2]를 통해 나타나듯이 유엔총회투표 데이터는 MID 데이터와 비교하여 무력분쟁이 발생하지 않았던 연도의 한중관계도 매년 일관된 수준의 협력/갈등 수준을 보인 것이 아님을 보여줄 수 있다는 장점이 있다.
[그림 3] GDELT를 사용한 한중관계 측정 (2001-2021)
[그림3]은 GDELT를 사용하여 2001년 1월부터 2021년 12월까지의 한중관계를 측정한 결과를 나타낸다. [그림3]의 결과는 한중 간에 발생한 사건들의 Goldstein Scale 수치를 월별로 묶고 그 평균값을 산출한 결과이다. (GDELT를 통해서는 국가 간의 관계를 Goldstein Scale의 일평균, 연평균 등 다양한 방식으로 표현할 수 있다. Goldstein Scale에 대한 자세한 설명은 Goldstein 1992) 참고.) 또한, [그림3]에 나타난 한중관계는 양국 정부 외에도 양국의 미디어, 기업, 보건·환경·인권 단체 등 모든 행위자 간에 발생한 사건을 포함하여 산출한 결과이다.
[그림 4] GDELT를 사용한 한중 정부 간 관계 측정 (2001-2021)
반면 [그림4]는 GDELT를 사용하여 2001년 1월부터 2021년 12월까지의 한중 정부(행정부, 입법부, 사법부, 및 군대)간 관계를 측정한 결과를 나타낸다. 이처럼 GDELT를 사용할 경우 국가 간의 관계를 연구자가 원하는 기간과 행위자에 맞춰 유연하게 추출할 수 있다. 또한, [그림1]과 [그림2]에 나타난 결과와 비교하여 GDELT와 같은 빅데이터를 사용할 경우 국가 간의 관계를 월 단위 혹은 그 이하로 보다 세밀하게 측정할 수 있음을 알 수 있다. 더불어, 2014년까지만 정보를 제공하는 MID와 유엔총회투표 데이터와 달리 GDELT로부터는 2021년 12월, 2022년 1월 등 가장 최근 정보까지도 추출할 수 있다는 장점이 있다.
빅데이터를 활용한 국가 간 갈등/협력 관계 연구의 한계
이처럼 언론기사를 기반으로 국가 간 갈등/협력 관계를 측정할 수 있게 해주는 빅데이터 역시 그 한계는 있다. 국가 간에 발생한 사건에 대한 정보를 수집하기에는 언론기사가 가장 풍부한 정보소스이지만 한편으로는 언론기사에 보도되지 않는 사건도 있다. 특정 언론은 특정 사건을 (고의든 아니든) 보도하지 않는 경우가 있다. 또한, 정부 인사들 간 비공식 회담 혹은 협상을 벌일 경우 그 내용은 언론에 보도될 수가 없다. 한편, 일상적인 사건의 경우 또한 언론이 보도하지 않는다 (Jäger 2018). 이 경우 국가 간의 일상적인 교류 및 협력은 굳이 언론이 보도하지 않고 국가 간의 외교적/물리적 갈등에만 주목, 보도를 하기 때문에 언론기사를 분석할 경우 국가 간 관계가 실제보다 부정적으로 측정될 가능성이 높다.
한편 빅데이터는 머신코딩 방식을 택하고 있는데 기사를 분류, 코딩하는 소프웨어에도 아직까지는 약점이 있다. 특히 머신코딩 과정에서 특정 사건이 여러 언론에서 보도된 경우 여러 사건으로 코딩하는 중복성의 문제가 있을 수 있다 (Schrodt 2012). 또한, 머신코딩의 정확성 문제도 아직까지 해결되지 않고 있다. 머신코딩 소프트웨어는 예를 들어, “attack” 혹은 “battle”과 같은 표현이 자주 쓰이는 스포츠 경기 관련 기사를 국가 간의 물리적 충돌로 인식하는 경우가 있다 (Schrodt 2012). 또한, 국가 정상 간의 비난 혹은 비판에도 영문기사가 “attack”이라는 표현을 사용할 경우 머신코딩 소프트웨어는 이를 물리적 공격으로 인식한 사례도 있다 (Kagotani et al, 2014). 따라서 향후 빅데이터의 발전은 단순히 분석할 수 있는 데이터의 양을 늘리는데만 집중하지 말고 머신코딩 방식의 질적 향상을 추구하는 방향으로 나아가야 할 것이다.
마지막으로, 오늘날 많은 사람들이 빅데이터에 주목하는 이유가 궁극적으로는 미래예측에 사용하기 위해서이다. 하지만 빅데이터 역시 코로나19의 창궐과 같은 그 누구도 예측하지 못하는 돌발변수 혹은 사건을 고려할 수 없기에 이를 활용해 미래예측 모형을 개발하는데는 아직까지 한계가 있다 (Jäger 2016).
- “Dyadic MIDs 4.02,” The Correlates of War Project, https://correlatesofwar.org/data-sets/MIDs/dyadic-mids-4-02.zip/view.
- “United Nations General Assembly Voting Data.” Harvard Dataverse. https://dataverse.harvard.edu/dataset.xhtml?persistentId=hdl:1902.1/12379&version=17.0.
참고문헌
Bailey, Michael A., Anton Strezhnev, and Erik Voeten. 2017. “Estimating Dynamic State Preferences from United Nations Voting Data.” Journal of Conflict Resolution 61(2): 430-456.
Goldstein, Joshua S. 1992. “A Conflict-Cooperation Scale for WEIS Events Data.” The Journal of Conflict Resolution 36(2): 369-385.
Jäger, Kai. 2016. “Not a New Gold Standard: Even Big Data Cannot Predict the Future.” Critical Review 28(3-4): 335-355.
Jäger, Kai. 2018. “The Limits of Studying Networks Via Event Data: Evidence from the ICEWS Dataset.” The Journal of Global Security Studies 3(4): 498-511.
Kagotani, Koji, Kan Kimura, and Jeffrey R. Weber. 2014. “Demcracy and diversionary incentives in Japan-South Korea disputes.” International Relations of the Asia-Pacific 14(1): 33-58.
Kastner, Scott L. 2009. Political Conflict and Economic Interdependence across the Taiwan Strait and Beyond. Stanford University Press.
Reuveny, Rafael. 2003. “Measuring Conflict and Cooperation: An Assessment.” In Edward D. Mansfield and Brian M. Pollins (eds.), Economic Interdependence and International Conflict, 254–72. University of Michigan Press.
Schrodt, Philip A. 2012. “Precedents, Progress, and Prospects in Political Event Data.” International Interactions 38 (4): 546-569.
Schrodt, Philip A., and James E. Yonamine. 2013. “A Guide to Event Data: Past, Present, and Future.” All Azimuth 2(2): 5-22.