[분석지능개발팀 이현정]
Huggingface와 ServiceNow Research가 함께 지난 27일 새롭게 런칭한 프로젝트 BigCode에 대해 소개하고자 합니다.
BigCode는 Code를 위한 대규모 언어모델의 책임있는 개발을 위해 작업하는 Open Scientific Colloboration 라고 합니다.
(BigCode is an open scientific colloboration working on the responsible development of large language models for code.)
이미 Code를 생성해주거나 Code 작성에 도움을 주는 Codex (OpenAI), AlphaCode (DeepMind), CodeWhisperer (Amazon), Copilot (GitHub), DeepDev (Microsoft) 같은 툴이 있고, 그 기능과 효과에 대해서 소위 ‘개발자보다 더 코딩을 잘하는’ 자조 섞인 평가를 받을 정도로 인정을 받고 있었으나, 일부 기능만 무료로 제공되거나 한시적으로만 무료 제공하는 등의 제한이 있고, 무엇보다 상당수는 오픈소스에서 사용할 수 없습니다.
이에 Hugging face와 ServiceNow가 ‘공개적이고 책임있는 방식'(an open and responsible way)의 코드 생성 AI모델을 개발하기 위한 목적으로 BigCode 프로젝트를 시작한다고 합니다.
BigCode의 첫 번째 목표는 코드에 대한 SOTA급(a state-of-the-art) 언어 모델을 트레이닝 할 수 있을 만큼 충분히 큰 데이터 셋을 개발하고 출시하는 것이라고 합니다.
이 데이터 셋을 이용하여 코드에 대한 150억 매개변수 언어 모델을 트레이닝하고, NVIDIA의 Megatron-LM의 개조된 버전을 사용하여 분산 인프라에서 LLM(Large Language Model)을 트레이닝 할 것이라고 합니다.
BigCode측은 ‘AI전문가이면서 프로젝트에 시간을 할애할 수 있는 모든 사람에게 오픈되어 있다’ 면서 아래 주제를 함께 할 AI전문가 자원봉사자 모집을 시작했습니다.
- 다양한 작업 및 프로그래밍 언어를 다루는 코드 LLM을 위한 대표적인 평가 제품군 (A representative evaluation suite for code LLMs covering a diverse set of tasks and programming languages)
- 코드 LLM용 데이터 셋의 책임있는 개발 및 협력 (Responsible development and governance of data sets for code LLMs)
- LLM을 위한 더 빠른 트레이닝 및 추론 방법 (Faster training and inference methods for LLMs)
BigCode 주최자들은 라이선스 문제가 해결된 리포지토리의 파일만 트레이닝 데이터 셋에 포함되도록 할 것이며, 이 과정에서 모든 유형의 코드 생성 시스템을 트레이닝하고 공유하기 위한 윤리적으로 공정한 AI관행을 수립할 것이라고 했습니다.
프로젝트의 완료시기 대해서는 BigCode 관련 블로그나 사이트에서는 찾을 수 없었으나, 법적, 윤리적으로 사용이 자유로운 AI기반의 코딩 툴은 어떤 방식이든 개발 비용을 상당히 낮출 것이라고 생각되며, 개발자/비개발자 구분 없이 창의적인 작업에 집중하는데 큰 도움이 될 것이라고 기대하고 있어서 개인적으로도 이 프로젝트가 성공하여, 다양한 프로그래밍 언어와, 다양한 케이스를 해소할 수 있는 획기적인 AI기반의 오픈소스 코딩 툴이 탄생하길 바랍니다.
Reference
https://www.bigcode-project.org/
https://www.servicenow.com/blogs/2022/bigcode-large-language-models.html
https://twitter.com/BigCodeProject
https://techcrunch.com/2022/09/26/hugging-face-and-servicenow-launch-bigcode-a-project-to-open-source-code-generating-ai-systems/
https://enterprisetalk.com/quick-bytes/hugging-face-and-servicenow-introduce-bigcode-a-project-to-open-source-code-generating-ai-systems/
https://github.com/NVIDIA/Megatron-LM
http://www.aitimes.com/news/articleView.html?idxno=147019
