스마일게이트가 키운 대학원생,
인공지능 분야 새 지평을 열 수 있을까
스마일게이트가 후원하는 서강대학교 디지털휴먼 엔터테인먼트(Digital Human Entertainment, 이하 ‘DHE’)) 전공 대학원생들이 작성한 논문이 자연어처리 분야 최고 권위 학회에서 주요 논문으로 채택됐다. 공동 저자로 참여한 방나모·이지현 학생은 ‘문과 출신’ 연구자로 논문을 게재하며 국제적으로 주목을 받았다. 두 학생을 직접 만나 논문 소개와 함께 DHE 과정의 강점에 관해 들었다.
세계 3대 자연어처리 학술대회에서 전해온 소식
세계적으로 인공지능 분야 연구가 점점 더 활발해지는 가운데, 서강대학교 AI센터에서 낭보가 전해졌다. 스마일게이트 DHE 장학생들이 공동 1저자로 작성한 논문이 세계 3대 자연어처리 학술대회 주요 논문으로 채택된 것이다.
ACL(Annual Meeting of the Association for Computational Linguistics)은 세계 3대 자연어처리 학술대회 중 하나로, BK21 플러스 사업 컴퓨터 사이언스(Computer Science) 분야 우수국제학술대회 리스트 중 인용지수(Impact Factor, IF) 최고 등급인 IF 4로 등재된 곳이다.
서강대학교 컴퓨터공학과 구명완 교수가 이끄는 지능형음성대화시스템연구실(ISDS) 연구팀에 소속된 방나모, 이지현 학생은 공동 1저자로서 이번 논문 작성을 주도했다. 논문은 7월 10일부터 12일까지 열리는 ACL 2023의 논문집에 실린다.
인공지능도 많이 학습하면 잊어버린다?
필요한 부분만 집중해서 학습하는 방안을 제안하다
‘Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System’이라는 제목의 논문은 파라미터를 고정한 대형 사전학습 언어 모델(Large Pre-trained Language Model, 이하 LLM)에 어댑터(Adapter) 모듈을 추가하고, 강화학습 방식으로 훈련해 성능을 높인 목적 지향 대화 시스템(Task-Oriented Dialogue System)에 관한 내용을 담았다. 어댑터는 사용자의 발화를 이해하고, 대화 상태를 추적하며, 시스템 응답 생성 등 화행(話行) 목적에 따라 최적화를 수행할 수 있게 한다. 방나모, 이지현 학생은 이번 연구에서 어댑터를 적용한 대화 시스템 성능 향상에 주목했다.
이러한 방식은 대화 시스템 성능 향상에 드는 연산 비용을 줄여준다는 장점이 있다. LLM은 자연어 입력 처리 과정에서 인간과 비슷한 대답을 생성하기 위해 대규모 텍스트 모음을 통해 훈련된 인공지능 유형이다. 이제까지는 파인 튜닝(Fine-tuning, 미세 조정)할 때, 사전 학습에 사용했던 전체 파라미터를 공유해야 했다. 이러한 방식은 높은 연산 비용이 드는 데다, 사전 학습한 내용을 망각하는 ‘Catastrophic Forgetting’ 현상도 있었다.
“사람이 단기간에 많은 양을 학습하면 예전에 외운 것을 잊어버리는 것처럼, 아직 그 이유는 밝혀지지 않았지만, 인공지능도 비슷한 현상을 겪습니다. 그래서 LLM이 필요한 내용만 학습할 수 있도록 일종의 블록을 설정해서 전체 파라미터 대신 적은 규모의 파라미터만으로 구성한 어댑터만 학습할 수 있게 했습니다. 이렇게 하면 학습방식도 과제별로 최적화를 할 수 있습니다.” 방나모 학생
“최근 자연어 처리 분야에서는 강화학습을 어떻게 적용할 것인지가 중요한 화두였습니다. 이미 강화학습으로 대화시스템 성능 향상은 증명되었지만, 강화학습을 진행하면 다른 태스크 성능이 하락한다는 문제점이 지적되고 있습니다. LLM에 어댑터를 적용하는 논문 아이디어를 완성하는 과정에서 석사 2학기에 수강한 강화학습 수업이 논문 작성에 큰 도움이 됐습니다.” 이지현 학생
‘문과 출신’의 강점 살린 자연어처리 연구
이번 논문 게재는 ‘문과 출신’ 융합 연구의 강점을 살린 사례다. 방나모 학생은 서강대학교에서 신문방송학과 빅데이터사이언스 융합전공을, 이지현 학생은 고려대학교에서 언어학을 전공했다.
“학부 때 신문방송학, 그중에서도 광고를 전공했습니다. 2019년부터 광고계에서 데이터 분석에 대한 관심이 높아지면서, 박데이터사이언스를 함께 전공했습니다. 졸업을 앞두고 딥러닝 프로젝트로 처음 대회에 출전했는데, 결선까지 진출했어요. 그때를 기점으로 인공지능을 제대로 공부해 보자는 생각이 들었습니다. ” 방나모 학생
“언어학을 전공하면서 파이썬과 자연어 처리에 관한 수업을 들었습니다. 시작 단계에서는 어렵지 않은 것 같은데, 컴퓨터공학 전공자들과 비교해 인공지능 이론이나 코딩 능력이 아무래도 부족하다는 생각이 들었습니다. 때마침 졸업을 앞두고 스마일게이트 DHE 과정과 관련한 공고를 보고 진학을 결심했습니다.” 이지현 학생
인공지능 인재 키우는 열린 기회 ‘DHE 장학생’
방나모 학생과 이지현 학생은 서강대학교 AI융합대학원 인공지능학과 스마일게이트 DHE 과정으로 입학한 장학생들이다. 두 사람은 DHE 장학생으로 선발된 후, 자연어처리에 관심을 두고 구명완 교수가 운영하는 컴퓨터공학과 지능형음성대화시스템연구실(ISDS) 연구팀에서 연구를 수행해 왔다.
“대다수 산학 연계 트랙의 장학생들은 졸업 후 해당 기업 취업이 정해져 있습니다. 하지만 DHE 과정은 채용 연계가 필수는 아닙니다. 덕분에 장학생들도 박사 과정 진학 등 좀 더 열린 관점에서 진로를 정할 수 있습니다. 저 역시 장기적으로 자연어처리 분야에 이바지할 수 있는 연구를 이어가고 싶습니다.” 방나모 학생
“DHE 장학생은 학비를 비롯한 장학금 혜택이 큽니다. 매 학기 등록금 이상의 장학금을 지원하기 때문에 연구에만 전념할 수 있다는 장점이 있습니다. 앞으로도 다양한 프로젝트를 하면서 더 좋은 논문을 써 나가고 싶습니다.” 이지현 학생
석사과정 재학 중 자연어처리 분야에서 손꼽는 학술대회에 논문을 게재한 방나모, 이지현 학생. 문과와 이과의 경계가 사라진 요즘, ‘문과 출신’ 인공지능 연구자로서 의미 있는 성과를 낸 두 사람이 연구자로서 더 좋은 결과를 보여주기를 기대해 본다.
#인공지능 #인공지능연구 #AI #자연어처리 #스마일게이트AI센터 #스마일게이트장학생 #DHE과정
