시계열 데이터 분석_TadGAN
[선행연구팀 송지현] MIT 연구팀이 개발한 TadGAN 알고리즘은 시계열 데이터를 분석하여 이상탐지를 하는데에 있어 기존에 알려진 모델들에 비해 좋은 성능을 내는 것으로 알려져 있습니다. 현재 많은 이상탐지를 연구하는 업체들이 다양한 분야(금융…
[Hyper CLOVA] – 국내 최초 ‘초대형 AI’
[선행연구팀 심홍매] NAVER는 25일 개최한 ‘NAVER AI NOW’ 온라인 컨퍼런스에서 자체 개발한 한국어 판 GPT-3인 국내 최초의 ‘초대형 AI’ Hyper CLOVA를 처음 공개하였습니다. 영어 이외 언어 활용이 어려운 오픈 AI GPT-3와…
Continual Reinforcement Learning
[선행연구팀 이정우] 최근의 강화학습은 다양한 과제에서 AI agent가 인간의 성능을 압도할 수 있음을 보여줬습니다. 하지만, 학습되지 않은 AI agent는 사람과 비교했을 때, 많은 시간의 학습을 요구하며 다양한 과제들에 대한 일반화…
언어모델에서의 자연어 생성 전략
[선행연구팀 김성현] 최신 언어 모델은 대규모의 코퍼스를 이용해 학습합니다. 특히, GPT-2, BART, T5 모델과 같이 디코더 신경망을활용한 모델의 경우, 다음 토큰을 반복적으로 샘플링하여 자연어를 생성해낼 수 있습니다. 여기서 샘플링의 방법에…
일상을 기록하는 Lifelogging
[서비스개발팀 권은지] 라이프로깅(Lifelogging)이란 라이프(Life)와 로그(Log)가 합쳐진 단어이며 1945년 미국의 국가 과학기술연구소의 소장 바네바 부시가 ‘Atlantic Monthly’에 기고한 ‘As We May Think’라는 글에서 처음 언급하였습니다. 그는 어떠한 형태로든 사람들이 사진들의 인생을…
Graph transformer: 구조화된 데이터를 위한 transformer
자연어 처리 분야에 적용하기 위해서 만들어진 transformer는 최근 텍스트 뿐 아니라 이미지나 동영상과 같은 다양한 데이터에 대해서도 적용되어 우수한 성능을 보여주고 있습니다. 하지만 텍스트와 이미지, 동영상은 각각 1D, 2D, 3D…
GPT-3 기반의 게임 NPC 데모
10년전 게임과 현재의 게임을 비교해 보면, 특히 그래픽 측면에서 많은 차이가 있습니다. 예를 들면, 4K 이상의 해상도, 정교한 그래픽 텍스춰, 자연스러운 3D 모델 애니메이션, 물리 엔진, 광원 엔진 등 수…
GPT-Neo – 오픈소스 GPT-3 프로젝트
OpenAI의 GPT-3는 175B에 달하는 파라미터 수를 가지는 거대 언어 모델입니다. GPT-3가 보여주는 놀라운 결과물들에도 불구하고 오픈소스로 공개되어 있지 않기 때문에 사용해 보려면 AI Dungeon(https://play.aidungeon.io/main/landing)이나 Philosopher AI(https://philosopherai.com/)와 같은 사이트를 통해야 합니다.…
Hugging Face의 $40M Series B 유치
딥러닝 기반 자연어 처리 오픈소스로 유명한 Hugging Face가 $40M 규모의 Series B 투자를 유치했다는 소식입니다. Hugging Face Transformer는 아마도 자연어 처리 분야에서 가장 유명한 오픈 소스 프로젝트 중 하나일 것으로…
