ACL 2023 학회 참관기

[선행AI기술팀 전동준]

세계 3대 자연어처리(NLP) 학회 중 하나인 ACL 2023(Association for Computational Linguistics, 전산 언어학 학회)이 7월 9일부터 14일까지 캐나다 토론토에서 진행되었습니다. 이번 ACL 학회에 회사의 지원으로 출장을 다녀와서 학회 참관기를 적어보려고 합니다.세계 각국의 자연어 연구자들의 발표를 보면서 아이디어를 얻고, 이야기를 나누면서 최신 자연어 연구의 동향을 알 수 있는 좋은 기회였습니다.

ACL 2023

올해 61번째로 열리는 ACL은 NAACL(North American Chapter of the Association for Computational Linguistics), EMNLP(Conference on Empirical Methods in Natural Language Processing)와 함께 3대 자연어처리 학회로 꼽힙니다. 참가자들은 모든 발표와 강연 오프라인, 온라인으로 참석할 수 있었습니다.

학회는 9일부터 14일까지 아래와 같은 스케줄로 진행되었습니다. 동시에 열리는 세션들이 많아서, 참관한 세션들 위주로 소개하려고 합니다.

• 9일: 튜토리얼
• 10~12일: 메인 컨퍼런스, 포스터 세션, 클로징 세션등
• 1 3~14일: 워크샵

Tutorials

ACL의 튜토리얼 세션은 급변하는 연구 분야에서 특정 주제의 전문 연구자들이 참가자들에게 포괄적인 소개를 하는 세션이라고 소개되어 있습니다. 총 6개의 튜토리얼이 진행되었는데, 대화형 AI에 대한 튜토리얼과 Retrieval-based LM에 관한 튜토리얼을 참가했습니다. Retrieval-based LM에 관한 튜토리얼이 최근 LLM(Large Language Models)의 한계를 RAG 방식으로 극복하려는 최신 연구의 흐름과 논문들을 깔끔하게 잘 정리해서 발표해 전반적인 흐름을 알기 좋았습니다.

• T1: Goal Awareness for Conversational AI: Proactivity, Non-collaborativity, and Beyond
• T2: Complex Reasoning in Natural Language
• T3: Everything you need to know about Multilingual LLMs: Towards fair, performant and reliable models for languages of the world
• T4: Generating Text from Language Models
• T5: Indirectly Supervised Natural Language Processing
• T6: Retrieval-based Language Models and Applications

Session

학회의 세션은 3일 동안 Pleanary(본회의, 키노트나 특정주제로 전문 패널들이 대담을 나누는 방식으로 진행), Oral(연구자들이 자기 연구를 15분정도로 발표), Poster(한장으로 정리된 연구 포스터를 걸어놓고 앞에서 참가자들에게 설명하고 질문에 답변하는 방식으로 진행)등으로 진행되었습니다.

Keynote

학회의 시작은 AI의 대부인 제프리 힌튼 교수님의 키노트로 시작되었습니다. 조금 늦게 입장하였는데, 이미 발표장을 가득 메운 참가자들이 힌튼 교수님의 인기를 실감하게 했습니다. “Two Paths to Intelligence” 이라는 주제로 AI의 학습 능력을 믿지 못했던 과거부터의 역사를 설명했습니다. 현재 대규모 신경망을 이용한 언어모델 AI들이 인간만의 능력이라고 생각했었던 부분들을 수행하고 있다고 말했습니다. 이해, 학습, 추론, 주관적인 경험에 관한 이야기들을 하면서 인공지능의 능력들을 말했는데, 이는 AI의 무한한 확장성을 생각하게 하면서도 한편으로는 사람들에게 AI의 위험성을 경고하는 것처럼 들렸습니다.

Large Language Model

자연어연구쪽에서 ChatGPT가 불러일으킨 LLM의 임팩트 때문인지, 그것에 관련된 이야기들이 많았습니다. 아래와 같은 토픽으로 패널들이 진행하는 본회의가 진행되었습니다. LLM의 한계인 환각이나 편향 문제를 해결할 방법이나 instruction tuning등의 기술적 논의 앞으로의 대 LLM 시대에서 연구자들에게 연구 방향이나 통찰들을 주는 이야기들을 나누었습니다.

• Navigating NLP in the Era of Large Language Models
• The Future of Computational Linguistics in the LLM Age

Poster

포스터 세션은 다양한 소주제별로 진행되었습니다. 참가자들은 연구자들과 직접 소통할 수 있는 포스터 세션쪽으로 많은 관심을 가지는 것 같았습니다. 상대적으로 작은 장소에서 진행된 것도 있지만, 참가자들이 많이 참석하여서 포스터 세션이 열리는 장소가 좁게 느껴졌습니다.

Backpack 이라는 이름의 워드 임베딩 모델 아이디어가 있었는데, Transformers 계열의 학습 데이터 편향성을 극복하는 방법론을 적용하여 인상 깊었습니다.

LLM을 활용한 In-context Learning, CoT(Chain of Thought)등에 대한 연구들도 많았습니다. 해당 연구들에서는 GPT-3, ChatGPT, llama등의 LLM을 활용하는 모습이 많이 보였습니다.

Demo 세션들도 한편에 준비되어 있었습니다. 실제 사용할 수 있는 단계로 준비된 것들이 많았고, 단일 연구보다는 프레임워크같은 결과물을 시연하고 있었습니다. 실제 산업군에서 활발하게 사용되고 있는 AutoGPT, BabyAGI 같은 LLM 에이전트 툴과 비슷한 프레임워크나 라벨링 툴, 번역 어플리케이션같은 것이 보였습니다. 거의 다 오픈소스로 제공하고 있어서 실험해 볼 수 있는 것들이 많았습니다.

Papers – 링크에서 페이퍼, 슬라이드, 포스터 자료들을 볼 수 있습니다.

Workshop

학회의 워크샵은 소규모 학회라고 생각하면 될 것 같습니다. ACL이 자연어 전반에 관한 주제로 열렸고, 워크샵에서는 바이오 분야, 대화형 AI, 번역같이 조금 더 주제를 포커싱해서 이야기하는 자리였습니다. 이틀 동안 각 장소에서 22개의 소규모 워크샵이 진행되었습니다. 워크샵 목록

DialDoc Workshop, Natural Language Reasoning and Structured Explanations Workshop 두 개의 워크샵에 참가하고 왔습니다. DialDoc Workshop은 문서 기반으로 대화하는 Question Answer Task에 포커싱하는 워크샵으로 이번에 3번째로 진행되었습니다. 요즘 LLM들이 성능이 좋아져서 지식 질문에 대해서도 잘 답변이 나오지만, 한편으로는 환각으로 대표되는 일관적이지 않은 사실의 생성을 해결하고자 하는 고민들이 많이 보였습니다. 기본적으로 QA 태스크이기 때문에 Fact Score 같은 메트릭을 만들어서 모델을 학습시킨다거나, 지식 그래프 이용등을 활용하는 방법들이 논의되었습니다.

이번에 첫번째로 열리는 “Natural Language Reasoning and Structured Explanations Workshop”은 AI가 추론능력을 이해하고자 하는 주제로 이야기하는 워크샵이었습니다. 설명가능한 머신러닝 모델들을 연구하면서 추론이 어떤 식으로 이루어지는 지에 대한 연구들이 발표되었습니다. In-context learning, zero-shot/few-shot 비교등의 연구들이었고, Allen AI의 임시 CEO인 Peter Clark가 연사로 초청되어, 해석가능한 월드 모델을 구축함으로써 새로운 대화시스템에 대한 아키텍쳐에 관한 강연을 하였습니다.

이번 ACL의 거의 모든 세션에서 “ChatGPT”라는 단어를 들었던 것 같습니다. 그만큼 작년 말에 출시된 ChatGPT의 영향력이 자연어 연구를 일선에서 하고 있는 연구자들에게 크게 다가왔다는 것을 느꼈는데, 그걸 느끼는 온도는 이제 놀라움과 두려움을 넘어 연구 관점에서 분석하고 어떻게 LLM을 이용하여 자연어 연구를 진행할 것인지에 대한 토론으로 나아가고 있는 것 같습니다. 61번째를 맞이한 만큼 오래된 역사의 전산언어학 분야이지만, 최신 트렌드를 흡수하면서 NLP의 미래를 생각하는 연구자들을 많이 만나 이야기 할 수 있는 좋은 기회였습니다.

参考

• https://2023.aclweb.org/