自然语言处理趋势 BigCode

BigCode

[분석지능개발팀 이현정] Huggingface와 ServiceNow Reserch가 함께 지난 27일 새롭게 런칭한 프로젝트 BigCode에 대해 소개하고자 합니다. BigCode는 Code를 위한 대규모 언어모델의 책임있는 개발을 위해 작업하는 Open Scientific Colloboration 라고 합니다.(BigCode is…

自然语言处理趋势 BigCode

한국어 tokenizer

[생성지능개발팀 김성현]우리는 한국어 문서를 볼 때, 그 대상을 의미를 가지는 단위로 쪼게서 이해할 수 있습니다.예를 들어, “스마일게이트” 의 경우, “스마일” 과, 문을 의미하는 “게이트”로 이해할 수 있겠죠.이렇게 자연어를 쪼게는 행위를…