Code 자연어와 음성 인식 프레임워크의 통합 트렌드

분산 학습 프레임워크: Horovod와 RaySGD

딥러닝 모델들의 크기가 기하급수적으로 증가하면서 더 이상 하나의 머신으로는 활용 가능한 수준의 학습 시간을 달성하기가 어려워지고 있습니다. 잘 알려진 대화 모델인 GPT-2는 약 1.5B개의 파라미터를 가지고 있으며 학습을 위해 8백만개의…