포커스 그룹, 테스트 및 메트릭스 : 개발자 의견

트리스탄 도노반(Tristan Donovan)
가마수트라 등록일(2011. 10. 04)

http://www.gamasutra.com/view/feature/6502/focus_groups_testing_and_.php

연구 방법에 관하여, 포커스 그룹 만큼 조롱 섞인 눈으로 바라보는 것도 없다. 다른 연구 형태와 비교해서, 포커스 그룹은 간단하고, 값싸며 널리 사용되고 있다. 또한 쉽게 적용할 수 있고, 특정한 상품이나 곡 난이도의 문제에 대한 의견을 구할 때도 유용하다. 이용성 평가라는 질적인 데이터 모음 방식까지 가지 않는다 하더라도 말이다.

그러나 포커스 그룹은 많은 사람들이 좋아하지 않는 연구 방법이 되었다. 게임 산업 역시 예외가 아니다. Vertical Slice라는 게임

이용성 평가 기업의 디렉터인 Graham McAllister는 지난 7월 Brighton에서의 개발 컨퍼런스에서, “포커스 그룹은 삐** 이다.”

고 말했다.

이것은 그의 독단적인 견해가 아니다. 포커스 그룹의 “유용성”을 무시하는 수많은 예가 있다.

Nintendo는 포커스 그룹의 피드백을 무시하고 미국에서 NES를 론칭하였다.

The Sims는 포커스 그룹의 강렬한 비판을 극복해 내고 최강의 PC 게임이 되었다. 산업이 점점 커지고 더 전문적이게 되었음에도 불구하고, 포커스 그룹에 대한 강력한 불신이 존재한다.

“위원회에 의해 디자인 프로세스가 점점 길어지는 것 처럼, 포커스 그룹은 그런 느낌을 준다고 생각한다. 결국은 개발자의 의도

를 희석시킨다”고 Magic: The Gathering - Duels of the Planeswalkers 2012 (Stainless Games 개발사)의 전무인

Neil Barnden이 말했다.

“Stainless 에서의 나의 존재 이유는 새로운 Carmageddon을 진행시키는 것이며, 가장 마지막에 해야 하고, 하고 싶지 않은 일이 포커스 그룹을 통해 반응을 조사하는 것이라고 내본능이 지시하고 있다. 우리는 무작위적으로 사람을 선택하여 테스트를 하는 것으로써 게임에 대한 우리의 비전을 향상시킬 수 있을 것이라고 기대하지 않는다.”

그러나 요즘 게임이 진정한 사회의 단면을 보여주고 있다고 여겨지고 있고, 과거의 콘솔 소유자에게 어필하듯 해서는 안되기 때문에, 일부의 사람들은 게임에 대한 포커스 그룹 테스트의 필요성이 점차 커지고 있다고 생각한다. “게임 비즈니스에서, 우리는 스스로 게임을 잘 쓰고 있었고”고 Kinectimals (스튜디오 Frontier Developments)의 창립자인 David Braben은 말한다. “그러나 당신 같지 않은 사람을 포함하는 순간, 당신은 전적으로 그들이 어떻게 반응하는지를 지켜보아야만 한다.”

“가마수트라를 읽는 사라들은 모두 게임에 대해서 무척 많은 지식을 가지고 있다. 이 때문에 많은 게임이 가마수트라 독자를 타겟으로 삼는다. 그러나 당신이 게임을 전혀 플레이 하지 않거나 일주일에 한 두 번 하는 사람들을 알고 싶다면, 이들은 전혀 다른 심리 상태를 가지고 있음에 대해서 알고 있어야만 한다.”

Frontier는 2000년 초에 포커스 그룹을 이용하기 시작했는데, 이 전에는 한번도 이용한 적이 없다.

“포커스 그룹을 형편없게 생각하는 사람들이 많다. 특히 사람들이 어떤 것에 대한 책무를 다하지 못했다고 평가하는 정치적인 부문에 대해서는 더욱 심하다. 조롱할 거리가 많다고 그는 말한다. “사람들은 혼란스러워 하지 않고 유저 인터페이스나 인스트럭션에 대하여 갑자기 전화를 끊기도 한다. 그리고 그 게임은 유행어를 이용하지 않는다.”

포커스 그룹이 Frontier의 게임 출시를 많이 도왔는데, 대표적인 예는 Braben이 언급하고 있는 다음의 것이다. “우리가 처음 Wallace & Gromit 게임을 하고 있었을 때, 우리 스스로에게 비공식적인 포커스 테스트를 실시했다. 어린이들이 좋아할 게임이라는 확신을 가지고 싶었기 때문이다. 절반 정도가 퍼즐을 어떻게 풀어야 할지 이해하지 못했기 때문에 너무 놀라웠다.”고 말했다.

다른 어린이들로 구성된 또 다른 포커스 그룹에게 테스트를 실시하기 전에, Frontier는 퍼즐을 풀기 위해 나무를 조사하도록 플레이어에게 시간을 준 다음 나타나도록 한 메시지를 추가하였다. “이 조치에 대하여 흥미로웠던 점은 삼분의 이 정도의 플레이어는 퍼즐에 대해서 괜찮은 생각을 했지만, 나머지 삼분의 일은 제시된 메시지 처럼 하지 않았다는 것이다”고 Braben은 말한다.

“우리는 이들에게 왜 메시지 처럼 하지 않았냐고 물어보았고, 이들은 ‘내게 이렇게 하라고 했기때문에’ 하지 않았다고 답했다. 게임에서 지시하지 않은 다른 일을 할 때 행복하다고 말한 것이 문제였는데, 그들은 살 것이 많지 않았기 때문에 게임이 지루하다고 작성했다. 단지 돌아다니면서 물건을 수집하고 퍼즐을 풀러 가지 않았기 때문이다.

두번째 포커스 그룹의 결과는 게임에 대한 좀 더 심한 수정을 이끌어 냈다. “우리는 ‘지금 하고 있는 것이 무엇이든, 당장 그만 두고, 나무로 가라’는 메시지로 바꾸었는데, 이것은 무척 위험한 것이었다. 포커스 그룹의 모든 어린이들이 이 명령을 따르게 했고, 이들은 그들이 해야 할 것이 너무 많아서 게임이 대단히 재밌었다고 말했다”고 한다.

Braben은 이와 같은 문제는 포커스 그룹 테스트가 왜 중요한 가를 설명해 주는 것이라고 말한다. “우리가 이 상황을 보지 못했다면 이와 같은 심리적인 상황을 알지 못했을 것이다. 비극은 자랑스럽게 생각하고 있는 게임을 친구나 지인에게 보여주고 시작부터 막혀서 플레이하기 힘들었다는 이야기를 듣는 것이다. 미루어 놓기 쉬운 아주 작은 일이 종종 문제를 일으킨다.”

※ 자세한 내용은 첨부(PDF)화일을 참고하시기 바랍니다.