onnx runtime

Transformer 기반의 언어 모델들이 보여주는 성능적 향상은 놀랍지만 모델 크기가 기하급수적으로 늘어나면서 서비스 비용에 대한 고민도 중요해지고 있습니다. Bert-base나 GPT-2의 경우 약 1억개의 파라미터를 가지고 있어서 모델 크기, 메모리 대역폭,…