데이터 마이닝으로 게임 이탈 예측하기

작성자: 드미트리 노즈닌 (Dmitry Nozhnin)
작성일: 2012 년 5 월 17 일

모든 온라인 서비스와 게임의 슬픈 현실이라면? 게임 플레이의 가장 초반에 유저 이탈이 제일 심하게 일어난다는 점이다. 이 문제에 대한 연구는 인터페이스의 사용성과 단순성, 무료 체험 기회, 학습 곡선, 튜토리얼의 퀄리티 등과 연관된 다양한 가설에 따라 이미 여러 방면으로 이루어져 왔다. 이러한 요소들이 모두 매우 중요하게 생각되고 있다.

우리는 왜 신규 플레이어가 일찍 게임을 그만두는지를 밝히고, 또 어떤 플레이어가 이탈하려 하는지를 예측해 보려고 한다. MMORPG 게임인 <아이온(Aion)>의 사례를 연구 대상으로 삼았지만 결과는 놀랍게도 광범위한 서비스와 게임에 적용할 수 있는 것으로 드러났다. 이 연구가 진행될 당시에 <아이온>은 7 일간 무료로 게임을 체험해보고, 20 레벨까지 올려볼 수 있는 순수한 회원제 게임이었으나, 많은 유저들은 돈을 내야 하는 시점 훨씬 이전에 게임을 그만 두었다. 우리의 연구는 게임 내에서 이런 이탈을 유발하는 도화선이 무엇인지에 관한 것이다.

행동적 측면의 연구에서 가벼운 게임 이용자들은 주의 집중시간이 그리 길지 않음이 나타났다. 이들은 오늘 게임을 접고 나면 내일은 이 게임이 설치돼 있는지, 플레이를 한 적이 있는지조차 기억하지 못할 수도 있다. 우리는 그들이 게임을 떠나는 즉시 다시 돌아오게끔 해야 한다.

그러나 어떻게 저녁에 할 일이 있어서 한동안 접속을 못하는 일상적 게임 이용자와, 게임을 접고 떠나려 하는 사람을 구분할 수 있단 말인가? 이상적인 방법은 게임 플레이 중에 게임을 접을 가능성을 예측하는 것이다. - 플레이어가 실제로 게임을 관두겠다고 생각하기도 전에 나타나는 행동들 말이다.

우리의 목표는 더 현실적이었다. 마지막으로 접속한 날 신규 플레이어의 이탈을 예측하기로 한 것이다. 우리는 이탈을 7 일간 게임을 하지 않는 것으로 정의하고, 플레이어가 게임을 이탈했는지 판단하기 위해 일주일을 기다리는 대신 게임을 한 마지막 날 이를 예측한다는 목표를 세웠다. 우리는 미래를 예측하고 싶었던 것이다!

기술적 측면

우리는 방대한 양의 데이터를 보유하고 있었다. 다행히도, <아이온>의 로그 기록 시스템은 한국에서 출시된 게임 중 가장 훌륭했다. 문자 그대로 플레이어의 모든 움직임과 활동을 추적한다. 초반 10 레벨 혹은 10 시간의 게임 플레이의 데이터를 저장했으며, 50 퍼센트 이상의 초반 이탈자들을 포착했다.

32GB 램과 10TB 콜드 스토리지와 3TB 핫 스토리지 RAID10 SAS 유닛을 장착한 두 대의 듀얼 제온(Dual Xeon) E5630 장비가 사용되었다. 양쪽 장비에는 MS SQL 2008R2 를 실행했는데, 하나는 데이터 보관소로, 다른 하나는 MS Analysis Services 용이었다. 표준 Microsoft BI 소프트웨어만 사용했다.

1 단계: 난 다 알고 있어!

나는 게임기획자로서 100 개도 넘는 플레이테스트를 거치며 많은 경험을 축적했기에, 내 전문성이 이탈에 대한 모든 해답을 대답을 내줄 것이라는 자부심이 있었다. 텔레포트 하는 법을 배우는 데 실패한 사람은 게임을 접었다. 첫 번째로 맞닥뜨린 몹에게서 치명타를 입은 사람도 게임을 접었다. “미션"탭을 잊어버리고 다음에 뭘 해야 될지 모르는 사람도 게임을 아마 접을 것이다. <아이온>은 시각적으로 훌륭하고 기술적으로도 뛰어나지만, 신규 플레이어에게 친절한 게임이라고 하기는 힘들었다.

그래서 나는 “일반 플레이어"가 되어 두 종족과 몇몇 직업으로 <아이온>의 무료 체험 기간을 체험하며, 게임 플레이 중 벌어지는 일들을 꼼꼼하게 관찰하고, 이탈의 근본 원인을 설명하는 기초 가정을 세웠다.

    ● 종족과 직업. 나는 이것이 핵심 요소라고 가정했다. 지원 성향이 강한 사제는 강력한 마법사와는 게임플레이가 다르기 마련

        이며, 이는 결과적으로 플레이어의 즐거움에도 영향을 주기 때문이다.
    ● 플레이어가 이노바(Innova)1의 다른 게임을 해본 적이 있는가? (우리에겐 계정이 하나뿐이었다.)
    ● 얼마나 많은 캐릭터를 어떤 조합의 종족과 직업으로 만드는가?
    ● 체험기간 중 레벨당 사망 횟수와 총 사망 횟수
    ● 다른 플레이어와의 협동 (고레벨과 저레벨)
    ● 편지 수신과 길드 가입 횟수 (숙련된 플레이어가 키우는 “부캐릭터"라는 신호)
    ● 퀘스트 완료의 레벨당 횟수와 총 횟수
    ● 전투 중 사용한 기술의 다양성

이 목록은 인상적이고 세부적이었으며, 게임에서 플레이어가 이탈하게 되는 엄청나게 다양한 이유를 설명하고 있다.

자 이제 본격적으로 돌입해보자. 첫 번째 가설은 데이터 마이닝 모델이다. 개념은 아주 간단하다. 우리는 이탈 여부(is leaver)라는 이름을 가진 불 변수의 값을 하나 예측하는데, 이것은 플레이어가 오늘 게임을 이탈할지, 아니면 남아서 최소한 한동안은 더 게임을 즐길지를 말해주는 것이다.

리프트차트 101: 바닥의 직선은 단순한 무작위 추측이다. 위로 치솟은 선은 뛰어난 이들의 것으로, 미래를 정확히 알고 있는 사람들이다. 이 사이에 나타난 얇은 선이 우리의 데이터 마이닝 모델이다. 선이 수직선에 가까워 질 수록, 미래를 예측하는 힘이 더 강해지는 것이다. 이 차트는 레벨 7 플레이어들의 것이지만, 레벨 2 에서 9 레벨도 똑같은 그림이다.

망했다! 우리의 첫 번째 모델은 동전을 던져서 미래를 예측하는 수준을 넘지 못하는 것이었다. 이제 마이닝 스트럭쳐에 다른 가설을 가져와, 이를 실행해보고 잘 되길 빌어볼 차례다.

조금 나아보이긴 하지만, 아직도 정확도2는 50 퍼센트를 조금 넘는 정도이고, 긍정오류3의 가능성도 28 퍼센트라는, 어마어마한 수준이었다.

정확도와 재현율 101: 정확도가 높아질 수록, 더 많은 진짜 이탈자들을 모델에서 추적할 수 있다. 긍정오류는 이탈자로 예측된 플레이어들이, 실제로는 그렇지 않았을 경우를 말한다.

1 단계 결과: 내 초반 계획이 실패했다. 대재앙이다!

※ 자세한 내용은 첨부(PDF)화일을 참고하시기 바랍니다.