VR and Physics Engine

[AI센터 권은지]

현실과 가상의 경계를 좁히는 키워드는 시공간 데이터 베이스와 디지털 트윈(Digital Twin)을 비롯하여 다양하게 존재합니다. 그 과정에서 3D 모델링 분야는 전문가의 영역에서 벗어나 실제 오브젝트를 가상환경으로 전환하는 기술을 통해 복제가 가능하도록 되었습니다. 2021년 WWDC (Worldwide Developers Conference) 기조 연설에서 Apple이 발표한 Object Capture는 사진측량(Photogrammetry) 기술을 사용하여 촬영된 사진을 USDZ 파일로 변환합니다. 해당 이미지는 AR Quick Look에서 확인 가능하며 3D 콘텐츠로 표시됩니다. 예를 들어, 현실에서 자신이 소중하게 생각하는 기타가 있다면 이를 모델링 하여 가상공간에서 무한으로 복제가 가능하게 만들어줍니다. 더 나아가 Reallusion 사의 Character Creator는 사진 한 장으로 디지털 휴먼을 간편하게 제작 가능하도록 서비스되고 있습니다. 이전보다 손쉽게 사진 한 장만으로 퀄리티가 보장되는 인물 모델링을 할 수 있게 되었습니다. 해당 서비스는 리깅과 애니메이션까지 반자동화된 과정을 제공합니다. 이러한 기술들은 단순히 입체적인 모델링에 그치지 않고 가상의 객체에 현실감을 더하는 여러가지 형태로 개선되고 있습니다.

Modulus는 NVIDIA가 개발한 물리학 학습용 AI 프레임워크입니다. 물리 법칙을 이용한 시뮬레이션으로 현실 세계에서 발생하는 물의 흐름, 빛의 반사, 공기의 움직임 등의 물리 법칙을 적용하여 3D 영상을 빠르게 제작하고 렌더링이 가능한 기술입니다. 상황에 따라 커스터 마이징이 가능한 부분이 큰 장점이며, 물리학-ML 모델을 학습하여 산업용 디지털 트윈, 기후 과학, 단백질 엔지니어링 등을 지원합니다. 즉, 물리 기반의 신경망 데이터 준비 모듈이 탑재되어 시뮬레이션 데이터의 관리를 도와주게 됩니다. 홈페이지에서 설명하는 주요 워크 플로우와 핵심요소는 다음과 같습니다. 첫째, 훈련 모델의 컨버전스(Convergence)와 정확도를 개선하는 샘플링 플래너(Sampling planner). 둘째, 편미분 방정식을 통해 물리 기반 신경망을 구축하는 파이썬(Python) 기반 API. 셋째, 물리 기반 문제에서 효과가 입증된 레이어 큐레이션(Curation)과 네트워크 아키텍처. 넷째, 파이토치(PyTorch)와 텐서플로우(TensorFlow), GPU 가속화용 cuDNN, 다중 GPU와 멀티노드 스케일링용 NVIDIA Magnum IO를 사용해 모델을 훈련하는 물리학-ML 엔진입니다.

ThreeDWorld (TDW)는 MIT, IBM Watson AI Lab, Harvard University, Stanford University 등의 연구원들이 사실적인 가상세계 창조를 목적으로 진행하는 상호작용 플랫폼입니다. 합성 이미지의 리얼한 장면과 오디오 렌더링을 실시간으로 생성할 수 있으며, 이를 시청각 데이터 세트로 컴파일하고 장면 내 상호작용을 통해 수정할 수 있습니다. 현실에서 일어나는 상호작용을 모방하도록 설계되었으며, 이를 리소스 데이터 방법으로 수정해 나갈 수 있다고 합니다. 가상현실에 물리학을 결합한 예시는 올해 참관하였던 UNITY WAVE 2022의 기술 강연에서도 서비스 적용 사례를 확인할 수 있었습니다. 첫 번째는 정부 및 항공우주 산업과 연계하여, 항공기 조작 훈련을 할 경우 실감나는 인터랙티브 시뮬레이션 교육을 제공하는 형태입니다. 두 번째는 이동이 불편한 고령자를 위한 기능성 낚시 게임입니다. 이러한 서비스 들은 유저로부터 긍정적인 피드백을 얻었다고 합니다. 가상현실과 물리엔진을 결합한 비즈니스의 적용 범위는 향후 플랫폼과 이종산업 등의 다양한 산업 영역을 바탕으로 확장해 나갈 것입니다.

Generating a realistic 3D world

A new AI-powered, virtual platform called ThreeDWorld (TDW) uses real-world physics to simulate a rich and interactive audio-visual environment, enabling human…