2021년 7월 1일

[선행연구팀 김성현] 오픈라이센스로 GPT-3 모델을 공개하던 Eleuther AI팀에서 최근 6B (약 60억)의 파라미터를 가지는 새로운 GPT-3 모델을 공개했습니다. (링크)Mesh-tensorflow와 JAX를 활용하였기 때문에 GPT-J-6B 라는 이름이 붙었다고 합니다. 학습 데이터는 약…