Interaction 언어모델에서의 자연어 생성 전략

언어모델에서의 자연어 생성 전략

최신 언어 모델은 대규모의 코퍼스를 이용해 학습합니다. 특히, GPT-2, BART, T5 모델과 같이 디코더 신경망을활용한 모델의 경우, 다음 토큰을 반복적으로 샘플링하여 자연어를 생성해낼 수 있습니다. 여기서 샘플링의 방법에 따라 생성되는…

InteractionTrend 언어모델에서의 자연어 생성 전략

일상을 기록하는 Lifelogging

라이프로깅(Lifelogging)이란 라이프(Life)와 로그(Log)가 합쳐진 단어이며 1945년 미국의 국가 과학기술연구소의 소장 바네바 부시가 ‘Atlantic Monthly’에 기고한 ‘As We May Think’라는 글에서 처음 언급하였습니다. 그는 어떠한 형태로든 사람들이 사진들의 인생을 기록하는 것으로…

InteractionCodeData 언어모델에서의 자연어 생성 전략

GPT-Neo – 오픈소스 GPT-3 프로젝트

OpenAI의 GPT-3는 175B에 달하는 파라미터 수를 가지는 거대 언어 모델입니다. GPT-3가 보여주는 놀라운 결과물들에도 불구하고 오픈소스로 공개되어 있지 않기 때문에 사용해 보려면 AI Dungeon(https://play.aidungeon.io/main/landing)이나 Philosopher AI(https://philosopherai.com/)와 같은 사이트를 통해야 합니다.…

Interaction 언어모델에서의 자연어 생성 전략

Artificial Intelligence and Games (Book)

딥러닝에 기반한 최신 AI 기술들은 음성 인식, 음성 합성, 번역, 챗봇, 스마트 팩토리 등 다양한 분야에서 활발하게 도입되고 있지만, 게임 분야에서는 아직 본격적인 적용 사례가 많지 않습니다. Springer에서 발간된 도서인…