IT/Trends2012.11.22 21:20


[번역] Inside the Secret World of the Data Crunchers Who Helped Obama Win  
          
(오바마를 승리로 이끈 데이터 분석가들의 비밀 세계 속으로)

By Michael Scherer (Time, 2012.11.07)

※ 원문 : http://swampland.time.com/2012/11/07/inside-the-secret-world-of-quants-and-data-crunchers-who-helped-obama-win/


동부의 조지 클루니는 누구일까  

지난 늦봄, 버락 오바마 대통령의 재선을 위해 모인 데이터 분석가들(number crunchers)은 서부 해안에 거주하는 40대 여성들이 영화배우 조지 클루니(George Clooney)에게 거의 만유인력처럼 끌린다는 것을 알아냈다. 이 여성들은 헐리우드에서 클루니와(오바마도 함께) 식사를 하는 기회를 잡기 위해 돈을 쓸 가능성이 가장 높은 단일 인구통계학적 집단임에 틀림 없었다.

오바마의 재선을 위해 지난 2년간 수집되고 저장되어 분석된 다른 모든 데이터와 마찬가지로, 오바마의 보좌관들은 이러한 인사이트를 활용하기로 결정하였다. 이들은 수백만 달러를 창출해낸 클루니의 성공을 재현하기 위해 동부 해안에서 동일한 40대 여성들에게 클루니 만큼의 매력을 가지고 있을만한 유명 인사를 물색했다. "우리에게는 차고 넘칠 만큼의 선택지가 있었지만, 결국 (섹스 앤 더 시티의) 사라 제시카 파커(Sarah Jessica Parker)를 골랐죠." 라고 수석 선거운동 고문은 설명했다. 그리고 파커의 뉴욕 웨스트 빌리지 자택에서 오바마와 함께 저녁을 함께 하는 기금 모금 파티가 열리게 되었다.


< 영부인 미셸 오바마(좌)와 함께 한 사라 제시카 파커(중) >

"선거운동 동안 모든 것을 측정할 것입니다"

파커와의 저녁 식사가 유명인과 함께 하는 자선모금 파티를 좋아하는 일부 지지자들에 대한 데이터 마이닝에 의해 결정되었다는 것을 일반 대중으로서는 알 길이 없을 것이다. 그러나 애초부터 선거운동본부의 짐 메시나(Jim Messina) 본부장은, 선거운동은 분명 정치적인 활동이지만 정치적 본능을 수단으로 하지 않고 기존과 완전히 다른, 수치 중심의 선거운동을 할 것을 확언했었다. 직책을 수락한 이후 메시나는 "우리는 선거운동 기간 동안 모든 것을 측정할 것입니다" 라고 말했다.

메시나는 지난 2008년 대선에 비해 5배가 넘는 분석 인력을 고용하였고, 컨설팅사 액쎈츄어(Accenture)에서 수퍼마켓의 판촉 홍보 활동 효율을 극대화하는 것과 같은 다량의 데이터를 분석한 경력이 있는 레이드 가니(Rayid Ghani)를 선거운동본부의 공식 "최고 데이터 분석가(chief scientist)"로 임명하였다.

"그들은 우리의 핵폭탄 발사 암호였습니다"

그러나 이들 분석 전문가들의 활동은 매우 엄격하게 비밀에 부쳐졌다. "그들은 우리의 핵폭탄 발사 암호였습니다." 선거 본부 대변인 벤 라볼트(Ben LaBolt)는 분석가들의 활동에 대한 질문을 받고는 이렇게 대답하였다. 선거 캠프 주변에서 데이터 마이닝에 관련된 실험들은 나르왈(Narwhal)과 드림 캐쳐(Dreamcatcher)와 같은 알쏭달쏭한 코드 네임을 부여받았다. 심지어 이들은 다른 직원들과 거리를 둔 채, 광대한 선거운동본부 사무실의 북쪽 끝에 있는, 창문도 없는 방에 자리를 잡았다. 이 "데이터 분석가"들은 백악관의 루즈벨트 룸에서 대통령 및 수석 보좌관을 대상으로 정례 브리핑을 하기도 했지만, 밋 롬니에 비해 가장 크고 근본적인 강점이라고 여겨지고 있던 이들의 데이터를 선거운동본부가 철저하게 보호했기 때문에 외부에 공개된 적은 거의 없었다.

 
< 시카고의 오바마 선거운동본부에 있는 "동굴" / ⓒ Daniel Shea for TIME >

지난 11월 4일, 선거운동본부의 수석 고문 몇명은 이름을 익명으로 처리하고 선거의 승자가 결정되기 전까지는 출간하지 않는다는 조건으로, 최신 기술을 활용한 이들의 활동을 TIME지에게 공개할 것에 동의하였다. 그들이 커튼을 걷어내고 공개한 것은 방대한 데이터 분석을 통해 오바마가 1조원이 넘는 선거기금을 조성하고, TV 광고의 타게팅 과정을 새로 만들었으며, 전화 통화나 직접 방문, 우편 발송과 소셜 미디어 등 동원 가능한 수단의 효과성을 끌어올리기 위해 사용된 경합 지역 선거인단에 대한 자세한 모델을 만들어 낸 과정이었다.

단일 데이터 시스템을 구축하다

2008년, 하이 테크의 마법으로 승리를 거둔 오바마 팀의 성공에 대한 찬사는 데이터베이스가 너무 많았다는 그들의 거대한 약점을 가리고 있었다. 오바마의 웹사이트를 통해 전화를 걸던 자원봉사자들은 선거운동본부 내 콜센터 인력의 리스트와는 다른 리스트를 이용하고 있었고, 투표 독려를 위해 만들어진 리스트 또한 선거 기금 모집을 위한 리스트와 결코 같이 섞이지 못하였는데, 이것은 마치 9·11 사태 이전의 FBI와 CIA와도 같아 보였다. 두 부문이 서로 정보를 공유하지 않았던 것이다. "우리는 민주당이 가진 문제점이 도처에 데이터베이스가 널려 있다는 점이라는 것을 일찌감치 분석해 냈습니다. 우리 중 아무도 서로 대화하지 않았지요." 라고 한 관계자는 말했다. 그래서 첫 18개월동안 선거운동본부는 처음으로 다시 돌아가서, 여론조사요원과 기금 모금책, 현장 근무자, 고객 데이터 베이스에서 모은 데이터는 물론 소셜 미디어와 경합 지역의 주요 민주당 지지자의 핸드폰 번호 등의 정보를 총 망라한 초대형 단일 데이터 시스템을 만들어 냈다.

거의 모든 가정들이 숫자로 검증되다

이 새로운 메가 파일은 단순히 선거인단을 찾아내 관심을 이끌어 내는 방법만을 제시한 것이 아니었다. 이를 통해 데이터 분석가들은 어떤 종류의 사람들이 어떤 특정한 접근 방법에 의해 설득당할 것인지 예측하는 실험을 수행할 수 있었다. 예를 들어 현장 사무소의 전화번호 리스트에는 단순히 대상자의 이름과 전화번호만 적혀 있는 것이 아니라 "설득 가능성(persuadability)"에 따라 순위가 매겨져 있었는데, 이는 선거운동의 가장 중요한 우선 요소 중에서도 첫번째 요소였다. 약 75%의 결정 요소는 연령, 성별, 인종, 거주 지역 및 투표 기록과 같은 기본적인 것이었다. 유권자와 관련한 고객 데이터는 프로필을 상세히 만들 수 있게 하였다. 데이터를 기반으로 예측된 유권자 프로필에 대해 한 수석 고문은 다음과 같이 말했다. "우리는 온라인으로 투표할 사람들을 예측할 수 있었습니다. 우편을 통해 투표할 사람들을 모델링할 수도, 자원봉사자들을 모델링할 수도 있었죠. 모델링이 시간을 보다 효율적으로 활용할 수 있도록 해주었기 때문에 2008년보다 훨씬 더 중요하게 받아들여졌습니다."

예를 들어 초창기에 선거운동본부는 약간의 관심만 주어도 가장 쉽게 돌아올 만한 사람들 중에 2008년 캠페인 리스트에서 구독을 해제한 사람들을 최우선 공략 대상으로 삼았다. 그리고 전략가들은 특정 인구통계학적 집단에게 적용 가능할 만한 메시지 내용들을 시험하는 테스트를 만들어 냈다. 그들은 또한 캘리포니아와 같은 다른 비경합 지역의 자원봉사자들이 거는 전화보다 같은 경합 지역 내에 거주하는 자원봉사자들이 전화를 걸었을 때 얼마나 더 효과가 있는지도 테스트하였다. 메시나가 당초 확언했던 것처럼, 거의 모든 가정들이 숫자로 검증된 것이다.

어떻게 1조원(10억달러)의 기금을 모집했는가

또한 이 새로운 메가 파일은 선거운동본부가 당초 가능하리라 예상했던 것보다 더 많은 선거 기금을 모집하게 만들었다. 8월까지만해도 오바마 주변의 모든 사람들이 기금 모집 목표인 10억달러를 절대 달성하지 못할 것이라고 강하게 주장했었다. "9억달러라는 목표도 받아들이기 어려웠던 처지였기 때문에 큰 의견충돌이 있었습니다." 라고 기금모금 과정에 깊숙히 관여한 한 고위 관계자는 이렇게 밝혔다. "그리고 나서 여름 동안 인터넷이 폭발했죠."

온라인으로 걷힌 현금은 대부분 매우 복잡한 데이터 분석을 바탕으로 매일 수십 건씩 발송된 기부 독려 이메일에 의해 모집되었다. 여기서 다시 한 번, 데이터의 수집과 분석이 가장 중요하게 다가왔다. 선거운동본부는 각기 다른 제목, 발송인, 그리고 메시지를 담은 다양한 이메일을 테스트를 위해 지지자들에게 보냈다. 선거운동본부 내에서는 어떤 조합이 가장 많은 기금을 끌어 올 지에 대한 내기가 벌어지곤 했다. 봄 동안에는 영부인 미셸 오바마 이름으로 보낸 이메일의 성적이 가장 좋았고, 때때로 메시나 본부장의 성적이 조 바이든 부통령에 비해 더 낫기도 했다. 많은 경우, 고성과자들은 저성과자들에 비해 10배 이상의 기금을 모집하였다.

또한 신속 기부(Quick Donate) 프로그램에 가입한 시카고 거주자들은 다른 기부자들에 비해 4배 많은 금액을 기부한다는 사실도 밝혀졌다. 신속 기부는 기부할 때마다 신용카드 정보를 새로 입력하지 않아도 이메일이나 문자 메시지를 통해 반복적으로 기부할 수 있도록 만들어진 프로그램이었다. 시카고에서의 성과를 바탕으로 신속 기부 프로그램은 더 확대되고 장려되었다. 10월 말에 이르러 신속 기부 프로그램은 선거운동본부가 지지자들에게 보내는 메시지에서 큰 비중을 차지하게 되었고, (기부 참여도를 높이기 위해) 처음으로 기부한 사람들에게는 자동차 범퍼에 붙힐 수 있는 기념 스티커를 무료로 배포하기도 하였다.

 
< 신속기부 참가자들이 받은 자동차 범퍼 스티커 >

투표 참여도를 예측하다

지갑을 열게 만든 데이터의 마법은 투표 참여를 새로운 목표로 삼았다. 데이터 분석팀은 주요 지역의 유권자에 대한 상세한 그림을 그리기 위해 크게 4가지의 여론조사 데이터를 활용하였다. 

지난 10월, 분석팀은 (최대 경합 지역인) 오하이오주에서만 2만 9천명에 대한 여론조사 데이터를 확보하고 있었는데, 이는 그 지역 내 전체 유권자의 0.5%에 가까운 엄청난 크기의 샘플이었고, 이를 통해 각 인구통계학적 집단과 지역별로 투표 성향이 시시각각 어떻게 변하고 있는지에 대한 자세한 파악이 가능했다. 이것은 엄청난 이점이었다. 오바마가 첫번째 토론에서 패배해 여론조사가 불리해지기 시작했을 때에도 어떤 유권자들이 지지후보를 바꾸거나 또는 바꾸지 않는지를 체크할 수 있었던 것이다. 10월의 지지율 격랑 속에서도 오바마 진영은 침착할 수 있었는데, 이 때 지지 후보를 바꾼 오하이오의 유권자들이 원래 오바마 지지자가 아니라 9월에 있었던 롬니의 큰 실책을 계기로 지지를 철회했던 롬니 지지자가 대부분이었다는 것을 데이터가 알려 준 덕분이었다. "우리는 다른 이들에 비해 더 차분할 수 있었죠." 라고 한 관계자는 말했다.

매일 밤마다 여론조사와 선거인단 접촉 데이터는 상상 가능한 모든 시나리오를 설명하기 위해 가공되고 또 재가공되었다. 한 고위 간부는 선거운동본부가 각 경합 지역에서의 오바마의 승률을 계산하기 위해 수행했던 컴퓨터 시뮬레이션에 대해 이렇게 설명하였다. "우리는 매일 밤 6만 6천번의 선거를 치뤘죠. 그리고 매일 아침이면 경합 지역별 승률이 계산된 데이터를 받아 들었습니다. 그게 우리가 자원을 배분하는 방식이었어요."

온라인에서의 투표 독려 활동도 계속되었는데, 현장 활동가들에 의한 직접 방문 방식을 모방한 대규모 투표 독려 활동이 페이스북에서 사상 최초로 시도되었다. (페이스북에서 오바마의) 어플리케이션을 다운받은 사람들은 선거운동 마지막 주에 경합 지역에 사는 친구들의 이름이나 사진과 함께 알림 메시지를 볼 수 있었는데, 화면 상의 버튼을 누르면 그 친구들에게 유권자 등록을 하거나 조기 투표를 하거나 투표장에 가도록 하는 특정한 행동을 하도록 격려하는 문구를 자동으로 보낼 수 있었다. 

대부분 자신들이 아는 페이스북 친구로부터 메시지를 받았기 때문에, 그러한 요청에 응해 실제 실행에 옮긴 사람이 대략 5명 중 1명은 되었다고 선거운동본부는 보고 있다.

광고 구매 효율을 14% 개선하다

데이터는 선거 캠페인의 광고 구매에도 영향을 미쳤다. 어디에 광고를 집행해야 할 것인가를 결정하기 위해 외부의 미디어 컨설턴트에게 의존하기 보다, 메시나는 내부의 방대한 데이터 세트에 기반하여 광고를 구매하였다. "어떤 정말 복잡한 모델링을 통해, 우리가 타겟으로 한 유권자들에게 다가갈 수 있었습니다. 말하자면, 좋아, 마이애미에 사는 35세 이하 여성이 타겟이라면 이렇게 접근하면 되겠군." 라고 한 관계자는 말했다. 그리하여, 선거운동본부는 해당 지역의 뉴스 프로그램 바로 뒤의 광고를 구매하던 전통적인 방식에서 벗어나 (인기 드라마) '썬즈 오브 아나키(Sons of Anarchy)'나 '워킹 데드(The Walking Dead)', 그리고 '두 여자의 위험한 동거(Don’t Trust the B—- in Apt. 23)'와 같이 통상적이지 않은 TV 프로그램의 광고를 구매하였다. 

2008년에 비해 오바마의 선거 광고 구매는 얼마나 효율적으로 집행되었을까? 시카고의 경우, 설득 가능한 유권자에게 메시지를 확실히 전달하기 위한 TV 광고 구매 효율이 14% 개선되었음이 밝혀졌다.

또한 데이터는 선거운동 막판에 오바마를 보통 그 시기에는 잘 가지 않는 길로 가도록 이끌었다. 지난 8월 오바마는 온라인 소셜 뉴스 사이트인 레딧(Reddit)에 등장해 여러 질문들에 대답하기로 결정했는데, 많은 선거 보좌관들은 레딧이라는 것이 무엇인지 조차 모르고 있었다. "왜 오바마를 레딧에 나가게 했냐구요?" 한 당직자가 과장스럽게 물었다. "왜냐하면 우리의 공략 대상이 몽땅 레딧에 있었기 때문이었죠."

< 레딧 사이트를 통해 질문에 답하고 있는 오바마 >

정치에도 빅 데이터의 시대가 도래하다.

이러한 데이터 기반의 의사결정 모델은 미국의 제 44대 대통령의 두 번째 임기를 창출하는데 지대한 역할을 수행하였고, 앞으로 보다 자세하게 연구할 요소 중의 하나가 될 것이다. 이는 또한, 워싱턴 정가에서 감과 경험에 의존해 결정을 내리던 기존의 선거운동 전문가들이 급격하게 사라지고, 방대한 데이터 세트를 해석하여 인사이트를 이끌어 내는 데이터 분석가와 컴퓨터 프로그래머들이 그 자리를 대신 차지하게 될 것이라는 신호이기도 하다. 누군가 말했듯, 골방에 앉아 시가를 피면서 '우리는 언제나 시사프로그램 60분(60 Minutes)을 산다오.'라고 말하던 꼰대들의 시대는 저물었다. 이제 정치에도 빅 데이터의 시대가 도래한 것이다.

[SCHOOL of AHK]

※ 본 포스트의 일부 또는 전체를 무단으로 전재하는 행위는 삼가해 주십시오.

신고
Posted by Zihoon Kim (안도류)

댓글을 달아 주세요

  1. 1. 선거제도가 생소하여 적절하지 못한 용어를 사용했을수도 있습니다
    2. 직역보다는 좀 과감하게 첨삭하거나 의역한 부분도 있습니다

    2012.11.22 21:32 신고 [ ADDR : EDIT/ DEL : REPLY ]
  2. 비밀댓글입니다

    2012.11.26 19:22 [ ADDR : EDIT/ DEL : REPLY ]
  3. 이 내용을 바탕으로 전체적으로 잘 정리된 들풀님의 기사 링크합니다
    http://slownews.kr/5951

    2012.11.28 19:00 신고 [ ADDR : EDIT/ DEL : REPLY ]