SuperGLUE는 다양한 자연어 이해 task에 대해 AI 기술의 성능을 평가하는 챌린지입니다. 기존 GLUE에 비해 상대적으로 난이도가 높은 task들로 구성되어 있는 것이 특징인데, 최근 Microsoft에서 발표한 DeBERTa 모델이 SOTA(state-of-the-arts)를 달성했으며, 평가 결과 인간 성능을 상회했다고 합니다. 특히, 기존 SOTA 모델인 Google의 T5 기반 모델들이 약 110억개의 파라미터를 사용한 반면, DeBERTa는 15억개의 파라미터만으로 더 나은 성능을 보였다고 합니다. 다음은 이와 관련된 기사와 github 링크입니다:
Microsoft DeBERTa Tops Human Performance on SuperGLUE NLU Benchmark
A new model surpassed human baseline performance on the challenging natural language understanding benchmark.
microsoft/DeBERTa
The implementation of DeBERTa. Contribute to microsoft/DeBERTa development by creating an account on GitHub.
Pytorch 1.3 기반으로 구현되어 있으며 github에는 학습된 모델 및 소스 코드도 함께 공개되어 있습니다. 물론 SuperGLUE에서 인간 성능을 상회했다고 해도 특정한 task에 한정된 결과라는 것이 변하지는 않지만, 좀 더 인간에 가까운 대화 능력을 갖추기 위한 유의미한 진보라고 판단됩니다.
