Popular Posts

■ 스마일게이트 그룹, 엔터테인먼트 산업 특화 AI 센터 설립 ■ 단순 정보 제공보다는 재미와 감동을 추구하는 Fun AI, 인간의 단위 기능 구현보다는 종합적 인간화 기술을 추구하는 Human-like AI 개발 목표 [2020-0803] 스마일게이트는 AI(인공지능) 기술을 기반으로 엔터테인먼트 산업에 특화된 AI...

[서비스개발팀 권은지] 라이프로깅(Lifelogging)이란 라이프(Life)와 로그(Log)가 합쳐진 단어이며 1945년 미국의 국가 과학기술연구소의 소장 바네바 부시가 ‘Atlantic Monthly’에 기고한 ‘As We May Think’라는 글에서 처음 언급하였습니다. 그는 어떠한 형태로든 사람들이 사진들의 인생을 기록하는 것으로 카메라와 녹음기...

[서비스개발팀 권은지] 어릴 적 상상화를 그림 그리면 우주 공간에 있는 로봇이 단골 소재였습니다. 돌아보면 만화에서(은하철도 999) 기차를 움직이는 인공지능 컴퓨터 기장에서부터 최근 개봉한 휴먼 노이드 영화들까지 미디어에서 인공지능은 하나의 중요한 소재로 등장해 왔습니다. 영화 속에서는 농담을 주고받는 친근한 친구, 행동을 서포트 해주는 스마트한 비서, ...

Smilegate.AI의 홈페이지가 리뉴얼되어 새로 오픈되었습니다. 스마일게이트가 추구하는 AI 전략 방향에 맞는 기술 및 데이터들을 인간이 수행하는 기능에 따라 분류하여 제공하는 것은 물론, 향후 Smilegate.AI에서 진행하는 프로젝트의 결과들을 공개하는 목적으로 활용될 예정입니다. 각 기술들은 인간의 외모에 해당하는 Visual, 청각과 발...

대다수의 챗봇 시스템은 아직도 규칙 기반으로 동작하지만, 자연스러운 대화를 구현하기 위해서는 결국 BERT 등 더 복잡한 언어 모델들을 사용해야 합니다. 다만, BERT는 무겁고 복잡하다는 인식이 많은데, 게임 플랫폼 업체인 Roblox에서 BERT를 사용하여 서비스화하기 위해 했던 일들을 간략하게 소개했습니다. 기본적으로 GPU를 써서 서비스하는 것은 ...

[선행연구팀 송지현] MIT 연구팀이 개발한 TadGAN 알고리즘은 시계열 데이터를 분석하여 이상탐지를 하는데에 있어 기존에 알려진 모델들에 비해 좋은 성능을 내는 것으로 알려져 있습니다. 현재 많은 이상탐지를 연구하는 업체들이 다양한 분야(금융 및 우주항공 그리고 IT, 보안 및 의료 영역)에서 TadGAN을 활용하여 연구중...

최근 트렌드 중 하나는 초거대 모델, 즉 파라미터의 수를 엄청나게 늘리고 기존 학습법을 적용하는 것입니다. 인간의 뇌가 보여주는 "소프트웨어적 능력"은 둘째 치고, 얼마나 늘려야 인간의 뇌의 "하드웨어적" 능력에 도달할 것인가?에 대해서 궁금해져서 생각을 해 보았습니다. (같은 하드웨어 능력에 도달한다면, 이제는 인간 vs. AI의 알고리즘 효율성에 대한...

일본의 Virtual Human Project인 Saya 프로젝트. 일본어로 되어 있어서 진척도를 전부 이해하지는 못했지만 비주얼적인 완성도는 상당히 높고, 표정도 자연스럽습니다. 향후 인간의 감정 추가, 행동 인식, 대화 등의 기능을 추가할 계획이라고 하는데...   인간적인 AI를 만들기 위해서는 외모, 목소리, 대화, 감성 등 다양한 ...

일본의 Virtual Human Project인 Saya 프로젝트. 일본어로 되어 있어서 진척도를 전부 이해하지는 못했지만 비주얼적인 완성도는 상당히 높고, 표정도 자연스럽습니다. 향후 인간의 감정 추가, 행동 인식, 대화 등의 기능을 추가할 계획이라고 하는데...   인간적인 AI를 만들기 위해서는 외모, 목소리, 대화, 감성 등 다양한 ...

TikTok이 사람 얼굴을 애니메이션 캐릭터로 실시간 변환해주는 필터를 추가했습니다. Selfie2Anime도 그렇고 김준호님이 만든 UGatIT도 그렇고 참고할 결과들이 있긴 하지만 TikTok의 기술은 완성도 면에서 상당한 수준에 올라온 듯 합니다. 섬세한 얼굴 부분 마킹이 별도로 필요한 Live2D, 미리 만든 3D 모델이 필요한 FaceRi...

애니메이션 캐릭터 이미지 데이터베이스인 Danbooru 2019 버전 링크를 소개합니다. 약 3.7백만개의 이미지가 있고 이미지당 약 29개의 tag가 붙어 있습니다. Tag의 예제로는 "1girl", "solo", "long_hair", "highres", "smile", "open_mouth"와 같은 것들이 있어서 다양한 목적으로 사용 가능합니다. 링...

Rosebud.ai(https://rosebud.ai/)는 마케팅 캠페인을 위해 만들어진 이미지에 가상의 모델 얼굴을 생성하여 합성하는 기술로 마케팅 시장을 타게팅하고 있습니다.  만들어진 결과물은 꽤 자연스럽고, 사진을 다시 찍지 않아도 언제라도 모델 얼굴을 교체할 수 있다는 장점이 있습니다. 비싼 모델 라이센싱비를 아낄 수 있다는 것을 주요 장...

락스타에서 만든 2011년작인 LA 느와르는 다른 게임보다 훨씬 우월한 수준의 얼굴 애니메이션이 적용되어 많은 사람들을 놀라게 했습니다. 이때 사용된 기술은 MotionScan이라고 불리는데, 기본적으로 여러대의 카메라가 정교하게 배치된 방 안에 배우가 앉아서 연기를 하고, 이를 캡춰하여 재가공하는 방식이라서 비용이 매우 높습니다. 그래서 대형 게임사가 ...

이미지 한장을 입력으로 얼굴 표정을 바꾸는 애니메이션을 만들어주는 기술인 GANimation의 코드 저장소입니다. 기본적으로는 conditional GAN인데, 얼굴의 해부학적 움직임을 기술하기 위한 방법론인 FACS (facial action coding system)를 활용하였습니다. FACS에 따르면 우리 얼굴은 약 43개의 근육을 활용하여 총...

[서비스개발팀 전동준] Unity에서 공개한 ML-Agents는 게임 환경의 가상 캐릭터를 만드는 오픈소스 툴 입니다. 게임 환경을 만들고 환경에서 작동할 수 있는 NPC 캐릭터(Agents)를 강화 학습등의 알고리즘을 통해 학습 할 수 있습니다. 2017년에 처음 공개되었고 1년 전에 v1.0이, 지난달에 다중 에이전트의 훈련을 지원할 수 있는 ...

인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서 감성 라벨링이 되어 있는 오픈 데이터셋을 하나 소개합니다. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) 라고 부르는 데...

"Synthetic media"라는 워딩으로 AI 기술을 미디어 마케팅에 적용하고 있는 Synthesia 블로그의 글입니다. 이 회사가 주로 하는 분야는 동영상내 모델의 얼굴 표정 및 입술 모양을 또 다른 영상으로부터 옮겨와서 합성(조정?)하는 것입니다. 예를 들어 (영어로 말하는) 베컴이 찍은 영상이 있을 때, 9개국 다른 언어로 말하는 동영상을 다른 ...

"Codec Avatar"라는 이름으로 진행되는 Facebook의 디지털 휴먼 프로젝트의 데모 영상이 공개되었습니다. 2019년 영상에 비해서 추가된 부분으로,아바타 외형이 좀 더 사실적으로 바뀌었고 마커 없이 몸 전체를 트래킹하는 기술을 보여줍니다. 2019년 3월 Codec Avatar가 처음 공개되었을 때, 인간의 머리와 얼굴을 정교하게 모델링...

[서비스개발팀 권은지] 어릴 적 상상화를 그림 그리면 우주 공간에 있는 로봇이 단골 소재였습니다. 돌아보면 만화에서(은하철도 999) 기차를 움직이는 인공지능 컴퓨터 기장에서부터 최근 개봉한 휴먼 노이드 영화들까지 미디어에서 인공지능은 하나의 중요한 소재로 등장해 왔습니다. 영화 속에서는 농담을 주고받는 친근한 친구, 행동을 서포트 해주는 스마트한 비서, ...

53,000시간의 라벨링 없는 데이터로 representation training을 한 후, 10분 분량의 라벨링 된 데이터만으로 음성인식기를 만들어낸다고 해서 화제가 되었던 Facebook의 wav2vec 2.0에 대한 pre-trained model이 공개가 되었습니다. Representation model에 no fine-tuning, 10분,...

인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서 감성 라벨링이 되어 있는 오픈 데이터셋을 하나 소개합니다. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) 라고 부르는 데...

Google Lyra는 생성 모델에 기반한 새로운 음성 압축 방식으로서, 기존 음성 압축 방식들이 원본 수준의 음질, 즉 transparent quality를 얻기 위해 약 8-16kbps 정도가 필요한 것을 크게 향상시켜서 3kbps의 낮은 대역폭 만으로도 transparent quality를 얻을 수 있는 것이 특징입니다. 다음은 관련 블로그 글입니다...

[서비스개발팀 김병인] 최근 진행된 구글의 최신기술을 선보이는 행사인 구글 I/O 2021에서는 안드로이드, 웹, 인공지능, 크롬등 다양한 기술과 서비스, 플랫폼 서비스를 공개했습니다. 많은 기술들중 최고의 화두는 이번에 발표한 LaMDA (구글의 언어 대화 모델)일것 같습니다. 순다 피차이 최고경영자는(CEO)는 18일 기조연설에...

특수 훈련을 받으면 입술 움직임만으로 무슨 말 하는지 알 수 있다고 하는 이야기를 들은 적이 있는데요, 링크글의 연구는 이것을 AI로 실현한 것입니다^^ Lip2Wav라고 불리는 이 기술은 이미지로부터 ConvNet을 이용하여 feature를 추출한 후, attention 기반의 speech decoder로 mel cepstrum을 생성해냅니다. 그 후엔...

통합 자연어 처리 패키지로 유명한 HuggingFace에 음성 인식 기능이 추가되었습니다. 다음은 관련 링크입니다: facebook/wav2vec2-base-960h · Hugging FaceWe’re on a journey to solve and democratize artificial intelligence through natural l...

Tacotron2, MelGan, FastSpeech등 여러 최신 TTS 모델을 지원하는 Tensorflow 2 기반의 오픈소스인 TensorflowTTS가 드디어 Microsoft FastSpeech2를 지원하기 시작했습니다. FastSpeech2는 Transformer 계열의 TTS와 유사한 성능을 보이지만 학습에 걸리는 시간이 2배 이상 줄어들었고 ...

MIT의 Speech2Face는 음성신호로부터 화자의 얼굴을 생성해내는 연구입니다. 다만 하나의 모델로 speech to face transform을 수행하는 것이 아니며, 다른 목적의 기존 연구 결과들을 잘 조합하여 인상적인 결과를 만들어냅니다. (제1 저자는 현재 포항공대에 계시는 오태현 교수님입니다) 첫 번째는 이미지로부터 facial vect...

LipGAN은 음성 신호를 이용하여 얼굴 이미지의 입술 모양을 생성하는 기술인데, 실제로 동영상에 적용해보니 visual artifact나 움직임의 자연성 측면에서 다소 아쉬움이 있었습니다.이를 개선하기 위해서 Discriminator에서 단일 frame이 아니라 복수개의 연속된 frame을 이용하여 temporal correlation을 고려하고, 단순...

[서비스개발팀 권은지] 라이프로깅(Lifelogging)이란 라이프(Life)와 로그(Log)가 합쳐진 단어이며 1945년 미국의 국가 과학기술연구소의 소장 바네바 부시가 ‘Atlantic Monthly’에 기고한 ‘As We May Think’라는 글에서 처음 언급하였습니다. 그는 어떠한 형태로든 사람들이 사진들의 인생을 기록하는 것으로 카메라와 녹음기...

대다수의 챗봇 시스템은 아직도 규칙 기반으로 동작하지만, 자연스러운 대화를 구현하기 위해서는 결국 BERT 등 더 복잡한 언어 모델들을 사용해야 합니다. 다만, BERT는 무겁고 복잡하다는 인식이 많은데, 게임 플랫폼 업체인 Roblox에서 BERT를 사용하여 서비스화하기 위해 했던 일들을 간략하게 소개했습니다. 기본적으로 GPU를 써서 서비스하는 것은 ...

[선행연구팀 송지현] MIT 연구팀이 개발한 TadGAN 알고리즘은 시계열 데이터를 분석하여 이상탐지를 하는데에 있어 기존에 알려진 모델들에 비해 좋은 성능을 내는 것으로 알려져 있습니다. 현재 많은 이상탐지를 연구하는 업체들이 다양한 분야(금융 및 우주항공 그리고 IT, 보안 및 의료 영역)에서 TadGAN을 활용하여 연구중...

AI 챗봇이 주로 하는 일은 상품 정보 설명, 스케줄 알려주기, 날씨 확인 등 질의 응답이라고 할 수 있습니다. 아마도 이러한 기술이 극대화 되면 '지식'이라는 인간의 일부 분야에 대해서 'Super Human AI'에 도달할 수 있을 것입니다. 그러나, "Human-Like AI"라면 특정 기능 극대화 보다는 전반적인 인간의 능력에 대한 고민이 필...

IBM의 감성 로봇 나오미(Nao-mi)에 대한 영상입니다. [내용 요약] 어렵게 쌓은 탑을 무너뜨리라고 요구하는 사람과 하기 싫다고 말하는 로봇. 계속적인 요구에 로봇은 울다가 결국 무너뜨립니다. 영상을 보면서 가슴이 많이 아팠습니다. 마음을 표현하고, 상호작용 하는 로봇이 사람의 마음까지 움직이네요. 이런게 인간같은 로봇이라는 생각이...

최근 재미있게 읽은 인간의 능력과 신경망의 관계에 대한 글입니다. 글에도 나오지만 인간의 뇌와 신경망의 동작 방식은 유사한 구석이 있지만 같을 필요는 없다고 봅니다. 헤엄치기 위해 물고기를 따라하기 보다는 잠수함을 만들면 되고, 날기 위해서 새를 따라하기 보다는 비행기를 만들면 되는 것 처럼요 (글쓴이의 예제입니다) 글에서는 인간의 기억 특성을 ep...

BERT로 대표되는 딥러닝 기반의 대규모 언어 모델은 Q&A, 문서 요약, 문서 생성, 대화 등 자연어 관련한 다양한 task에서 뛰어난 성능을 보이고 있으며 특히 최근 등장한 GPT-3의 경우 인공 일반 지능(AGI)에 한층 접근한 것으로 평가하는 사람들도 있습니다. 자연어 이해(NLU) 전문 업체인 ONTOLOGIK의 수석 AI 과학자인 ...

현재까지 제안된 많은 MRC 모델들이 다양한 Task와 Dataset에서 인간의 능력을 넘어선 평가값을 보여주고 있지만, 주어진 context에 대해서 인간보다 더 잘 이해하는 것인가?라는 질문을 받는다면 쉽게 YES라고 말하기 어렵다고 생각합니다. 우선, 현재의 MRC 기법들이 과연 "understanding"을 하는 것인가에 대해서 여러 가지 이...

유명 게임 회사인 King의 캔디크러시사가는 수 많은 레벨로 구성되어 있는 퍼즐 게임입니다. 2018년 데이터이긴 하지만 매주 약 15개의 레벨을 추가한다고 합니다. (1년에 약 3700개) 레벨의 난이도를 측정하여 밸런싱을 해야 하는데, 문제는 인간 테스터의 경우 레벨 1개당 1주일이 걸린다고 합니다. 이 문제를 해결하기 위해서 인간과 유사한 방식...

OpenAI의 GPT-3는 175B에 달하는 파라미터 수를 가지는 거대 언어 모델입니다. GPT-3가 보여주는 놀라운 결과물들에도 불구하고 오픈소스로 공개되어 있지 않기 때문에 사용해 보려면 AI Dungeon(https://play.aidungeon.io/main/landing)이나 Philosopher AI(https://philosopherai.co...

[서비스개발팀 권은지] 라이프로깅(Lifelogging)이란 라이프(Life)와 로그(Log)가 합쳐진 단어이며 1945년 미국의 국가 과학기술연구소의 소장 바네바 부시가 ‘Atlantic Monthly’에 기고한 ‘As We May Think’라는 글에서 처음 언급하였습니다. 그는 어떠한 형태로든 사람들이 사진들의 인생을 기록하는 것으로 카메라와 녹음기...

[서비스개발팀 권은지] 어릴 적 상상화를 그림 그리면 우주 공간에 있는 로봇이 단골 소재였습니다. 돌아보면 만화에서(은하철도 999) 기차를 움직이는 인공지능 컴퓨터 기장에서부터 최근 개봉한 휴먼 노이드 영화들까지 미디어에서 인공지능은 하나의 중요한 소재로 등장해 왔습니다. 영화 속에서는 농담을 주고받는 친근한 친구, 행동을 서포트 해주는 스마트한 비서, ...

[선행연구팀 송지현] MIT 연구팀이 개발한 TadGAN 알고리즘은 시계열 데이터를 분석하여 이상탐지를 하는데에 있어 기존에 알려진 모델들에 비해 좋은 성능을 내는 것으로 알려져 있습니다. 현재 많은 이상탐지를 연구하는 업체들이 다양한 분야(금융 및 우주항공 그리고 IT, 보안 및 의료 영역)에서 TadGAN을 활용하여 연구중...

최근 트렌드 중 하나는 초거대 모델, 즉 파라미터의 수를 엄청나게 늘리고 기존 학습법을 적용하는 것입니다. 인간의 뇌가 보여주는 "소프트웨어적 능력"은 둘째 치고, 얼마나 늘려야 인간의 뇌의 "하드웨어적" 능력에 도달할 것인가?에 대해서 궁금해져서 생각을 해 보았습니다. (같은 하드웨어 능력에 도달한다면, 이제는 인간 vs. AI의 알고리즘 효율성에 대한...

IBM의 감성 로봇 나오미(Nao-mi)에 대한 영상입니다. [내용 요약] 어렵게 쌓은 탑을 무너뜨리라고 요구하는 사람과 하기 싫다고 말하는 로봇. 계속적인 요구에 로봇은 울다가 결국 무너뜨립니다. 영상을 보면서 가슴이 많이 아팠습니다. 마음을 표현하고, 상호작용 하는 로봇이 사람의 마음까지 움직이네요. 이런게 인간같은 로봇이라는 생각이...

Few shot learning만으로 모든 자연어 task에 적용할 수 있는 가능성을 보여준 초대규모 언어 모델의 대명사 GPT-3의 학습 비용은 한화로 약 40억원으로 추산된다고 합니다. GPT-2의 경우는 약 4천만원. 아무리 재활용성이 높다고 해도 웬만한 회사에서는 R&D로 투자하기 힘든 금액입니다. (누군가 KoGPT-3를 만들어서 배포해주...

BERT로 대표되는 딥러닝 기반의 대규모 언어 모델은 Q&A, 문서 요약, 문서 생성, 대화 등 자연어 관련한 다양한 task에서 뛰어난 성능을 보이고 있으며 특히 최근 등장한 GPT-3의 경우 인공 일반 지능(AGI)에 한층 접근한 것으로 평가하는 사람들도 있습니다. 자연어 이해(NLU) 전문 업체인 ONTOLOGIK의 수석 AI 과학자인 ...

[서비스개발팀 김병인] 최근 진행된 구글의 최신기술을 선보이는 행사인 구글 I/O 2021에서는 안드로이드, 웹, 인공지능, 크롬등 다양한 기술과 서비스, 플랫폼 서비스를 공개했습니다. 많은 기술들중 최고의 화두는 이번에 발표한 LaMDA (구글의 언어 대화 모델)일것 같습니다. 순다 피차이 최고경영자는(CEO)는 18일 기조연설에...

Google Lyra는 생성 모델에 기반한 새로운 음성 압축 방식으로서, 기존 음성 압축 방식들이 원본 수준의 음질, 즉 transparent quality를 얻기 위해 약 8-16kbps 정도가 필요한 것을 크게 향상시켜서 3kbps의 낮은 대역폭 만으로도 transparent quality를 얻을 수 있는 것이 특징입니다. 다음은 관련 블로그 글입니다...

Digital Twin이란 현실 세계에서 실체를 가지고 있는 사물이나 환경을 가상 공간으로 그대로 옮겨놓고, 둘 사이를 연동시키는 것을 의미합니다. 간단히 표현하자면 현실 세계를 디지털로 모델링하는 것을 의미하지만, 단순히 모델링하는 것 뿐 아니라 실세계 데이터 연동, 운영, 제어, 분석 등을 모두 포괄하는 의미로 사용됩니다. 흔히 simulation이라...

AI 챗봇이 주로 하는 일은 상품 정보 설명, 스케줄 알려주기, 날씨 확인 등 질의 응답이라고 할 수 있습니다. 아마도 이러한 기술이 극대화 되면 '지식'이라는 인간의 일부 분야에 대해서 'Super Human AI'에 도달할 수 있을 것입니다. 그러나, "Human-Like AI"라면 특정 기능 극대화 보다는 전반적인 인간의 능력에 대한 고민이 필...

이미지 한장을 입력으로 얼굴 표정을 바꾸는 애니메이션을 만들어주는 기술인 GANimation의 코드 저장소입니다. 기본적으로는 conditional GAN인데, 얼굴의 해부학적 움직임을 기술하기 위한 방법론인 FACS (facial action coding system)를 활용하였습니다. FACS에 따르면 우리 얼굴은 약 43개의 근육을 활용하여 총...

락스타에서 만든 2011년작인 LA 느와르는 다른 게임보다 훨씬 우월한 수준의 얼굴 애니메이션이 적용되어 많은 사람들을 놀라게 했습니다. 이때 사용된 기술은 MotionScan이라고 불리는데, 기본적으로 여러대의 카메라가 정교하게 배치된 방 안에 배우가 앉아서 연기를 하고, 이를 캡춰하여 재가공하는 방식이라서 비용이 매우 높습니다. 그래서 대형 게임사가 ...

53,000시간의 라벨링 없는 데이터로 representation training을 한 후, 10분 분량의 라벨링 된 데이터만으로 음성인식기를 만들어낸다고 해서 화제가 되었던 Facebook의 wav2vec 2.0에 대한 pre-trained model이 공개가 되었습니다. Representation model에 no fine-tuning, 10분,...

[서비스개발팀 전동준] Unity에서 공개한 ML-Agents는 게임 환경의 가상 캐릭터를 만드는 오픈소스 툴 입니다. 게임 환경을 만들고 환경에서 작동할 수 있는 NPC 캐릭터(Agents)를 강화 학습등의 알고리즘을 통해 학습 할 수 있습니다. 2017년에 처음 공개되었고 1년 전에 v1.0이, 지난달에 다중 에이전트의 훈련을 지원할 수 있는 ...

OpenAI의 GPT-3는 175B에 달하는 파라미터 수를 가지는 거대 언어 모델입니다. GPT-3가 보여주는 놀라운 결과물들에도 불구하고 오픈소스로 공개되어 있지 않기 때문에 사용해 보려면 AI Dungeon(https://play.aidungeon.io/main/landing)이나 Philosopher AI(https://philosopherai.co...

Text-to-SQL은 자연어를 SQL로 자동 변환하는 Task입니다. 하단에 공유한 글은 Microsoft 소속의 Aerin Kim이 작성한 글인데, Text-to-SQL에 대해서 잘 정리되어 있습니다. 세상에는 수 많은 데이터들이 Relational Database로 구축되어 있고, 이 Database에서 정보를 취득하기 위해 사용되는 표준 언어가 S...

특수 훈련을 받으면 입술 움직임만으로 무슨 말 하는지 알 수 있다고 하는 이야기를 들은 적이 있는데요, 링크글의 연구는 이것을 AI로 실현한 것입니다^^ Lip2Wav라고 불리는 이 기술은 이미지로부터 ConvNet을 이용하여 feature를 추출한 후, attention 기반의 speech decoder로 mel cepstrum을 생성해냅니다. 그 후엔...

bryandlee님 github에 deep generative model을 이용한 image translation 적용 결과와, 침착맨 이말년 웹툰으로 만든 관련 연구가 있어서 공유합니다. 연구 제목도 "침착한 생성모델 학습기"입니다. 전 이런 위트가 좋더라구요! 과정을 보면, 웹툰 500컷을 가져다가 얼굴 위치 인식기를 쓰다가 잘 안 되서 결국 손...

일상 대화 연구에서 두각을 나타내고 있는 스캐터랩(https://scatterlab.co.kr/) 핑퐁팀 블로그에 있는 글인데 GPT-3 사례에 대해서 스토리있게 잘 정리된 것 같아서 공유합니다. 저는 GPT-3를 아직은 '의심의 눈초리'로 보고 있습니다만 다시 봐도 신기한 건 틀림없네요^^ 다만, GPT-3를 기존 언어 모델들과 비교하는 대신 좀 ...

[선행연구팀 송지현] MIT 연구팀이 개발한 TadGAN 알고리즘은 시계열 데이터를 분석하여 이상탐지를 하는데에 있어 기존에 알려진 모델들에 비해 좋은 성능을 내는 것으로 알려져 있습니다. 현재 많은 이상탐지를 연구하는 업체들이 다양한 분야(금융 및 우주항공 그리고 IT, 보안 및 의료 영역)에서 TadGAN을 활용하여 연구중...

애니메이션 캐릭터 이미지 데이터베이스인 Danbooru 2019 버전 링크를 소개합니다. 약 3.7백만개의 이미지가 있고 이미지당 약 29개의 tag가 붙어 있습니다. Tag의 예제로는 "1girl", "solo", "long_hair", "highres", "smile", "open_mouth"와 같은 것들이 있어서 다양한 목적으로 사용 가능합니다. 링...

인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서 감성 라벨링이 되어 있는 오픈 데이터셋을 하나 소개합니다. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) 라고 부르는 데...

현재까지 제안된 많은 MRC 모델들이 다양한 Task와 Dataset에서 인간의 능력을 넘어선 평가값을 보여주고 있지만, 주어진 context에 대해서 인간보다 더 잘 이해하는 것인가?라는 질문을 받는다면 쉽게 YES라고 말하기 어렵다고 생각합니다. 우선, 현재의 MRC 기법들이 과연 "understanding"을 하는 것인가에 대해서 여러 가지 이...

Text-to-SQL은 자연어를 SQL로 자동 변환하는 Task입니다. 하단에 공유한 글은 Microsoft 소속의 Aerin Kim이 작성한 글인데, Text-to-SQL에 대해서 잘 정리되어 있습니다. 세상에는 수 많은 데이터들이 Relational Database로 구축되어 있고, 이 Database에서 정보를 취득하기 위해 사용되는 표준 언어가 S...

OpenAI의 GPT-3는 175B에 달하는 파라미터 수를 가지는 거대 언어 모델입니다. GPT-3가 보여주는 놀라운 결과물들에도 불구하고 오픈소스로 공개되어 있지 않기 때문에 사용해 보려면 AI Dungeon(https://play.aidungeon.io/main/landing)이나 Philosopher AI(https://philosopherai.co...

[서비스개발팀 전동준] 코로나19로 인해 가속화된 기업들의 디지털 트랜스포메이션(Digital Transformation)은 데이터의 가치를 계속해서 상승 시키고 있습니다. 전문 IT 기업 뿐만 아니라 다양한 산업에서의 변화의 필요성은 데이터 전문 기업들의 몸값도 불리고 있습니다. 최근 들어 국내의 데이터 산업 시장 규모가 커지고는 있지만, 아직 기업들이 ...

게임 제작 쪽에서는 이미 많이 활용하고 있는 Adobe Mixamo 사이트 링크 공유합니다. 들어가보면 3D 캐릭터 121개와 캐릭터 모션 2484개가 올라와 있고, (Autodesk) FBX라는 3D 포맷으로 다운받을 수 있습니다. 이 포맷은 3ds나 Maya에서도 읽을 수 있고, 유니티나 언리얼 엔진에서도 쓸 수 있습니다. 캐릭터 모션은 상당히 특수한...

특수 훈련을 받으면 입술 움직임만으로 무슨 말 하는지 알 수 있다고 하는 이야기를 들은 적이 있는데요, 링크글의 연구는 이것을 AI로 실현한 것입니다^^ Lip2Wav라고 불리는 이 기술은 이미지로부터 ConvNet을 이용하여 feature를 추출한 후, attention 기반의 speech decoder로 mel cepstrum을 생성해냅니다. 그 후엔...

AI 분야의 다양한 논문들 및 연계된 오픈 소스, 그리고 SOTA에 대한 정보를 제공하는 paperswithcode에서는 3천개가 넘는 유용한 데이터셋 링크를 함께 제공하고 있습니다. 이 중 텍스트에 대한 데이터셋은 851종이며, 한국어로 한정할 경우 아래의 데이터셋 링크들이 검색됩니다: Dataset NameDescriptionUnivers...

■ 스마일게이트 그룹, 엔터테인먼트 산업 특화 AI 센터 설립 ■ 단순 정보 제공보다는 재미와 감동을 추구하는 Fun AI, 인간의 단위 기능 구현보다는 종합적 인간화 기술을 추구하는 Human-like AI 개발 목표 [2020-0803] 스마일게이트는 AI(인공지능) 기술을 기반으로 엔터테인먼트 산업에 특화된 AI...

Smilegate.AI의 홈페이지가 리뉴얼되어 새로 오픈되었습니다. 스마일게이트가 추구하는 AI 전략 방향에 맞는 기술 및 데이터들을 인간이 수행하는 기능에 따라 분류하여 제공하는 것은 물론, 향후 Smilegate.AI에서 진행하는 프로젝트의 결과들을 공개하는 목적으로 활용될 예정입니다. 각 기술들은 인간의 외모에 해당하는 Visual, 청각과 발...

■ 세아, 스트리밍 방송 데뷔! 8월엔 라이브 방송 정식 출범 ■ 샌드박스 네트워크와 함께 보다 많은 방송 활동 기대! [2020-0730] 스마일게이트 엔터테인먼트(대표 장인아)는 한국 최초의 버츄얼 유튜버 ‘세아(SE:A)’가 본격적인 방송 활동을 위해 MCN 업계의 대표 디지털 엔터테인먼트 기업인 샌드박스 네트워크와 전속...

코로나19로 인한 온라인 교육 환경에서 사각지대에 놓인 청각장애 아동∙청소년을 위한 AI 기반 실시간 문자 통역 소프트웨어 서비스 지원 M.A.P 툴팩 크라우드 펀딩 수익금과 퓨처랩 워크숍 참가자 기부금 전액 환원 … ‘나눔의 선순환’  문화 확산 기대 [2020-1021] 창의환경 연구센터 스마일게이트 퓨처랩(이하 퓨처랩)이 자체 개발 창의 학습 ...

세아 라이브 방송서 시청자 원하는 콘텐츠로 적극 소통, 반응 ‘굿’시즌2 시작과 동시에 출범한 트위치 방송도 1만 명 육박하는 구독자 증가 [2020-0814] 스마일게이트 엔터테인먼트(대표 장인아)는 한국 최초의 버추얼 유튜버 ‘세아(SE:A)’가 지난 1개월 동안의 테스트 방송을 거쳐 본격 라이브 방송을 시작한 결과 시청자들의 적극적인 호응에 힘...

최근 기업들의 인재상에서 빼놓지 않고 등장하는 단골 항목은 바로 ‘창의성’이다. 빠르게 변화하는 시대 속에서 팔로워가 아닌 리더가 되려면 전에 없던 아이디어로 문제를 해결하는 창의성이 필수적이다. 그러나 혼자서, 경직된 환경에서 창의성을 발현하기란 무척 어렵다. 자유롭게 꿈꾸고 아이디어를 제시할 수 있는 환경, 그리고 함께 고민하며 성장할 수 있는 관계가...

Smilegate.AI의 facebook 페이지가 개설되었습니다. 이 곳 홈페이지에서는 주로 기술적이고 전문적인 내용들을 공유한다면, facebook 페이지에서는 센터 소식이나 연구 과정, 생활에 대한 스몰토크들을 소개할 예정입니다. 예를 들어, 최근에 올라온 포스트는 신규 입사자 교육의 날에 대한 글입니다^^ 오늘은 울적한 날입니다.'신규 ...

오렌지플래닛 전주센터 입주사인 ‘메디케이시스템'은 ICT(정보통신기술)을 기반으로 한방 탕전실 솔루션을 개발하는 헬스케어 기업이다. 한방 산업에 4차 산업혁명 신기술을 접목시켜 한의학계에 새로운 바람을 불러일으키고 있다. 최근 한의업계에도 체계적인 한약조제 관리에 대한 요구가 높아지고 있지만 그동안은 이를 지원하는 체계적인 시스템이 없었다. 한의원과 공동...

최근 인기리에 방영 중인 드라마 <스타트업>에는 창업을 꿈꾸는 청춘들이 등장한다. 열정으로 가득한 이들의 뒤에는 사업, 조직 구성 등 처음 도전을 시작한 이들을 돕는 숨은 조력자, 멘토가 있다.  스마일게이트는 오렌지플래닛에 입주한 스타트업을 비롯해 인디게임을 제작하는 청년 창작자나 IT 개발자를 꿈꾸는 대학생 등 다양한 분야에서...

29일 정오부터 24시간 꽉 찬 스케줄…깜짝 게스트 등장도 예고!방송 기부금 전액, 희망스튜디오 전달… 다문화 대안교육기관 ‘해밀학교’ IT 인프라 지원 예정 [2020-1228] 스마일게이트 엔터테인먼트(대표 장인아)는 한국 최초의 버추얼 크리에이터로 시작해 온라인 셀럽으로 우뚝 선 ‘세아(SE:A)’가 연말연시를 맞아 세상을 더 아름답게 만드는 ...