[뉴미디어 서비스팀 윤형진 책임]
최근 세아스토리에서 큰 축을 맡고 있던 세아 Mk3(a.k.a 춘자) 님이 졸업을 했습니다.
세아스토리의 스트리밍 시대를 열며 3년 간 많이 고생한 세아님이 대견스럽고 고마운 마음이 있습니다.
저도 한 때, 세아스토리 제작진 중의 하나로서 의미 있는 기록을 남기고자 세아의 원래 컨셉 인
AI를 컨셉 아닌 진짜 AI기술을 사용하여 세아님의 흔적을 남기고자 합니다.
Stable Diffusion 의 사용법들은 이미 많이 나와있으니 찾아보시고,
여기 서는 LoRA 라는 기법을 사용하여 다양한 세아의 그림을 만드는 법을 알아보겠습니다.
LoRA는 Low-Rank Adaptation of Large Language Models 의 약자이며 사실 필자도 무슨 뜻인지
잘 모르지만, 대충 내가 만든 캐릭터의 특징 등을 학습해 그림을 생성할 때 그 특징들이 발현되게 하는
것을 목표로 하는 기술로 알고 있습니다.
여기서는 세아의 리본, 헤어핀, 흰색 크롭탑, 레깅스 등의 특징을 학습하게 될 것 입니다.
먼저 LoRA 를 사용할 환경을 세팅 하겠습니다.
좋은 그래픽 카드를 가지고 있다면 LoRA를 컴퓨터에 직접 깔아서 설치하면 좋겠지만, 대다수의 사용자는
그렇지 않을테니 구글에서 제공하는 클라우드 코딩 플랫폼인 코랩을 이용하겠습니다.
다음은 학습할 데이터를 준비합니다.
언리얼에서 렌더링한 세아 mk3의 기본 포즈를 데이터셋으로 준비합니다
이 데이터셋을 기반으로 태깅데이터를 생성합니다. 직접 입력하면 좋겠지만 이것도 AI 힘을 빌려서
이 캐릭터가 어떠한 요소로 구성되어있는지 가져옵니다.
캡쳐된 3D 모델을 그대로 학습데이터로 쓰면 학습이 잘 안되는 문제점이 있습니다.
그래서 태깅된 데이터를 기반으로 Stable Diffusion 에서 그림을 다시 생성해줍니다.
그리고 데이터셋의 양을 늘리기 위해 얼굴, 상반신, 전신 등으로 크롭하여 저장해줍니다.
그리고 512×512 사이즈에 캐릭터를 리사이즈해서 정규화 합니다.
이부분은 사용자에 따라 논란이 있는 부분이지만 전 이렇게 해서 좋은 LoRA데이터를 얻어냈습니다.
(주의: 케이스마다 다르겠지만 모든 케이스가 좋은 결과를 내는 것은 아닙니다.)
태그를 한번 정리해줍니다. 특징이나, 같은 내용에 다른 단어들을 통일 시켜줍니다.
이제 데이터셋이 준비 되었으니 학습을 시작할 때입니다.
아까 코랩 링크를 통해 로라 학습을 설치해줍니다.
이후에는 옵션 선택 없이 실행만 하면 되므로 넘어가겠습니다.
————————————————————————————————————————————————————————————–
학습이 정상적으로 끝났다면 다음과 같이 나타나게 됩니다.
이제 SeaLoRa01.safetensors 파일을 복사하여 Stable Diffusion 의 Model -> LoRA 폴더에 복사하여 사용하면 됩니다.
——————————————————————————————————————————————————————————————————–
결과물
기본 포즈 만으로 이렇게 다양한 세아의 모습을 구현해 낼 수 있습니다.
아쉬운 부분이 많지만 이 정도로 요약하고 한마디 하고 물러나겠습니다.
————————————————————————————————————————————————————————
세아 Mk3님은 졸업하고 이젠 없지만,
그렇지만 진정한 AI가 되어 우리들의 가슴속에 하나가 되어 살아가!!!
