NLPTrend SmileStyle 한국어 대화 스타일 변환 데이터셋

한국어 tokenizer

[생성지능개발팀 김성현]우리는 한국어 문서를 볼 때, 그 대상을 의미를 가지는 단위로 쪼게서 이해할 수 있습니다.예를 들어, “스마일게이트” 의 경우, “스마일” 과, 문을 의미하는 “게이트”로 이해할 수 있겠죠.이렇게 자연어를 쪼게는 행위를…

NLPTrend SmileStyle 한국어 대화 스타일 변환 데이터셋

Meta AI OPT-175B 공개와 large scale model

[생성지능개발팀 유희조] Open AI의 GPT-3 발표 이후 ‘더 큰 언어모델’ 라는 형태의 경쟁은 하나의 패러다임이 되었습니다. Nvidia, Microsoft, Google 등의 해외 기업 뿐만 아니라 국내에서도 네이버, LG 등의 기업들이 지속적으로…

NLPTrend SmileStyle 한국어 대화 스타일 변환 데이터셋

TPU에서 HuggingFace model 학습하기

[가상인간연구팀 황준선] TPU 소개 TPU(Tensor Processing Unit)는 Google에서 발표한 텐서 연산에 특화된 하드웨어입니다. TPU는 인공지능 모델을 학습시킬 때 필요한 행렬 곱 연산을 가속화하여 기존 GPU에서 학습시킬 때보다 더 빠른 학습…

NLPTrend SmileStyle 한국어 대화 스타일 변환 데이터셋

Green AI

[융합연구팀 황준선] AI 기술은 비약적으로 발전해왔고, 우리는 많은 편의성을 제공 받고 있다. 심지어 이 AI 기술 분야 중에선 전력량을 예측하거나 탄소배출량 등을 예측하여 보다 효율적으로 에너지를 사용하거나 비축할 수 있도록…