링크는 Sony와 ETH Zurich에서 발표한 논문에 대한 리뷰글인데, 유명 자동차 게임인 Gran Turismo를 대상으로 reinforcement learning을 적용해서 인간 기록을 넘는 결과를 냈다는 내용입니다.
사용된 기술 자체는 이미 잘 알려져 있는 간단한 actor-critic model 기반이며, 입력으로 자동차의 상태와 위치를 주고, reward는 기본적으로 lap time을 최소화하는 방향이지만 충돌시 페널티를 주도록 했습니다.
학습된 모델은 게임에 매우 능숙한 인간의 기록을 뛰어 넘는 결과를 보였고, 특히 커브 구간에서 최적화된 트래킹을 해 냈습니다.
슈퍼카 성능을 증명하는데 사용되는 뉘르부르크링의 기록도 AI 레이서와 autopilot car가 갱신하는 날이 머지 않은 것 같습니다. 바둑처럼 F1 또한 휴먼 드라이버와 AI 드라이버가 서로 경기를 펼치게 될 수도 있고, 인간이 AI 드라이버의 주행 영상을 보면서 공부하게 될 수도 있을 것 같습니다.
다만 게임 회사 입장에서 본다면 슈퍼 휴먼 AI 보다는 수준을 맞춰줄 수 있는 AI가 필요한데, 게임 분야에서 인간을 뛰어넘는 사례는 많지만 구체적으로 어떻게 실력을 하향시킬까에 대한 연구는 많지 않은 것 같습니다. 단순히 기계적 페널티를 가하는 방식으로는 재미가 떨어질테니 실력 하향법 또한 인간에 가깝게 현실감 있게 처리되어야 할 것이기 때문입니다. 이러한 human-like leveling은 또 다른 연구 주제가 될 수 있을 것으로 생각됩니다.
AI Plays Gran Turismo At Super-Human Level!
I have believed for a long while now that game AI of NPCs trained using Machine Learning compared to the traditional explicit Rules-Based approach yield better performance and also provide a more…
