Popular Posts

■ 스마일게이트 그룹, 엔터테인먼트 산업 특화 AI 센터 설립 ■ 단순 정보 제공보다는 재미와 감동을 추구하는 Fun AI, 인간의 단위 기능 구현보다는 종합적 인간화 기술을 추구하는 Human-like AI 개발 목표 [2020-0803] 스마일게이트는 AI(인공지능) 기술을 기반으로 엔터테인먼트 산업에 특화된 AI...

Smilegate.AI의 홈페이지가 리뉴얼되어 새로 오픈되었습니다. 스마일게이트가 추구하는 AI 전략 방향에 맞는 기술 및 데이터들을 인간이 수행하는 기능에 따라 분류하여 제공하는 것은 물론, 향후 Smilegate.AI에서 진행하는 프로젝트의 결과들을 공개하는 목적으로 활용될 예정입니다. 각 기술들은 인간의 외모에 해당하는 Visual, 청각과 발...

대다수의 챗봇 시스템은 아직도 규칙 기반으로 동작하지만, 자연스러운 대화를 구현하기 위해서는 결국 BERT 등 더 복잡한 언어 모델들을 사용해야 합니다. 다만, BERT는 무겁고 복잡하다는 인식이 많은데, 게임 플랫폼 업체인 Roblox에서 BERT를 사용하여 서비스화하기 위해 했던 일들을 간략하게 소개했습니다. 기본적으로 GPU를 써서 서비스하는 것은 ...

최근 트렌드 중 하나는 초거대 모델, 즉 파라미터의 수를 엄청나게 늘리고 기존 학습법을 적용하는 것입니다. 인간의 뇌가 보여주는 "소프트웨어적 능력"은 둘째 치고, 얼마나 늘려야 인간의 뇌의 "하드웨어적" 능력에 도달할 것인가?에 대해서 궁금해져서 생각을 해 보았습니다. (같은 하드웨어 능력에 도달한다면, 이제는 인간 vs. AI의 알고리즘 효율성에 대한...

일본의 Virtual Human Project인 Saya 프로젝트. 일본어로 되어 있어서 진척도를 전부 이해하지는 못했지만 비주얼적인 완성도는 상당히 높고, 표정도 자연스럽습니다. 향후 인간의 감정 추가, 행동 인식, 대화 등의 기능을 추가할 계획이라고 하는데...   인간적인 AI를 만들기 위해서는 외모, 목소리, 대화, 감성 등 다양한 ...

TikTok이 사람 얼굴을 애니메이션 캐릭터로 실시간 변환해주는 필터를 추가했습니다. Selfie2Anime도 그렇고 김준호님이 만든 UGatIT도 그렇고 참고할 결과들이 있긴 하지만 TikTok의 기술은 완성도 면에서 상당한 수준에 올라온 듯 합니다. 섬세한 얼굴 부분 마킹이 별도로 필요한 Live2D, 미리 만든 3D 모델이 필요한 FaceRi...

애니메이션 캐릭터 이미지 데이터베이스인 Danbooru 2019 버전 링크를 소개합니다. 약 3.7백만개의 이미지가 있고 이미지당 약 29개의 tag가 붙어 있습니다. Tag의 예제로는 "1girl", "solo", "long_hair", "highres", "smile", "open_mouth"와 같은 것들이 있어서 다양한 목적으로 사용 가능합니다. 링...

IBM의 감성 로봇 나오미(Nao-mi)에 대한 영상입니다. [내용 요약] 어렵게 쌓은 탑을 무너뜨리라고 요구하는 사람과 하기 싫다고 말하는 로봇. 계속적인 요구에 로봇은 울다가 결국 무너뜨립니다. 영상을 보면서 가슴이 많이 아팠습니다. 마음을 표현하고, 상호작용 하는 로봇이 사람의 마음까지 움직이네요. 이런게 인간같은 로봇이라는 생각이...

일본의 Virtual Human Project인 Saya 프로젝트. 일본어로 되어 있어서 진척도를 전부 이해하지는 못했지만 비주얼적인 완성도는 상당히 높고, 표정도 자연스럽습니다. 향후 인간의 감정 추가, 행동 인식, 대화 등의 기능을 추가할 계획이라고 하는데...   인간적인 AI를 만들기 위해서는 외모, 목소리, 대화, 감성 등 다양한 ...

TikTok이 사람 얼굴을 애니메이션 캐릭터로 실시간 변환해주는 필터를 추가했습니다. Selfie2Anime도 그렇고 김준호님이 만든 UGatIT도 그렇고 참고할 결과들이 있긴 하지만 TikTok의 기술은 완성도 면에서 상당한 수준에 올라온 듯 합니다. 섬세한 얼굴 부분 마킹이 별도로 필요한 Live2D, 미리 만든 3D 모델이 필요한 FaceRi...

애니메이션 캐릭터 이미지 데이터베이스인 Danbooru 2019 버전 링크를 소개합니다. 약 3.7백만개의 이미지가 있고 이미지당 약 29개의 tag가 붙어 있습니다. Tag의 예제로는 "1girl", "solo", "long_hair", "highres", "smile", "open_mouth"와 같은 것들이 있어서 다양한 목적으로 사용 가능합니다. 링...

Rosebud.ai(https://rosebud.ai/)는 마케팅 캠페인을 위해 만들어진 이미지에 가상의 모델 얼굴을 생성하여 합성하는 기술로 마케팅 시장을 타게팅하고 있습니다.  만들어진 결과물은 꽤 자연스럽고, 사진을 다시 찍지 않아도 언제라도 모델 얼굴을 교체할 수 있다는 장점이 있습니다. 비싼 모델 라이센싱비를 아낄 수 있다는 것을 주요 장...

락스타에서 만든 2011년작인 LA 느와르는 다른 게임보다 훨씬 우월한 수준의 얼굴 애니메이션이 적용되어 많은 사람들을 놀라게 했습니다. 이때 사용된 기술은 MotionScan이라고 불리는데, 기본적으로 여러대의 카메라가 정교하게 배치된 방 안에 배우가 앉아서 연기를 하고, 이를 캡춰하여 재가공하는 방식이라서 비용이 매우 높습니다. 그래서 대형 게임사가 ...

이미지 한장을 입력으로 얼굴 표정을 바꾸는 애니메이션을 만들어주는 기술인 GANimation의 코드 저장소입니다. 기본적으로는 conditional GAN인데, 얼굴의 해부학적 움직임을 기술하기 위한 방법론인 FACS (facial action coding system)를 활용하였습니다. FACS에 따르면 우리 얼굴은 약 43개의 근육을 활용하여 총...

인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서 감성 라벨링이 되어 있는 오픈 데이터셋을 하나 소개합니다. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) 라고 부르는 데...

"Codec Avatar"라는 이름으로 진행되는 Facebook의 디지털 휴먼 프로젝트의 데모 영상이 공개되었습니다. 2019년 영상에 비해서 추가된 부분으로,아바타 외형이 좀 더 사실적으로 바뀌었고 마커 없이 몸 전체를 트래킹하는 기술을 보여줍니다. 2019년 3월 Codec Avatar가 처음 공개되었을 때, 인간의 머리와 얼굴을 정교하게 모델링...

"Synthetic media"라는 워딩으로 AI 기술을 미디어 마케팅에 적용하고 있는 Synthesia 블로그의 글입니다. 이 회사가 주로 하는 분야는 동영상내 모델의 얼굴 표정 및 입술 모양을 또 다른 영상으로부터 옮겨와서 합성(조정?)하는 것입니다. 예를 들어 (영어로 말하는) 베컴이 찍은 영상이 있을 때, 9개국 다른 언어로 말하는 동영상을 다른 ...

게임 제작 쪽에서는 이미 많이 활용하고 있는 Adobe Mixamo 사이트 링크 공유합니다. 들어가보면 3D 캐릭터 121개와 캐릭터 모션 2484개가 올라와 있고, (Autodesk) FBX라는 3D 포맷으로 다운받을 수 있습니다. 이 포맷은 3ds나 Maya에서도 읽을 수 있고, 유니티나 언리얼 엔진에서도 쓸 수 있습니다. 캐릭터 모션은 상당히 특수한...

53,000시간의 라벨링 없는 데이터로 representation training을 한 후, 10분 분량의 라벨링 된 데이터만으로 음성인식기를 만들어낸다고 해서 화제가 되었던 Facebook의 wav2vec 2.0에 대한 pre-trained model이 공개가 되었습니다. Representation model에 no fine-tuning, 10분,...

인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서 감성 라벨링이 되어 있는 오픈 데이터셋을 하나 소개합니다. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) 라고 부르는 데...

특수 훈련을 받으면 입술 움직임만으로 무슨 말 하는지 알 수 있다고 하는 이야기를 들은 적이 있는데요, 링크글의 연구는 이것을 AI로 실현한 것입니다^^ Lip2Wav라고 불리는 이 기술은 이미지로부터 ConvNet을 이용하여 feature를 추출한 후, attention 기반의 speech decoder로 mel cepstrum을 생성해냅니다. 그 후엔...

통합 자연어 처리 패키지로 유명한 HuggingFace에 음성 인식 기능이 추가되었습니다. 다음은 관련 링크입니다: facebook/wav2vec2-base-960h · Hugging FaceWe’re on a journey to solve and democratize artificial intelligence through natural l...

Tacotron2, MelGan, FastSpeech등 여러 최신 TTS 모델을 지원하는 Tensorflow 2 기반의 오픈소스인 TensorflowTTS가 드디어 Microsoft FastSpeech2를 지원하기 시작했습니다. FastSpeech2는 Transformer 계열의 TTS와 유사한 성능을 보이지만 학습에 걸리는 시간이 2배 이상 줄어들었고 ...

Google Lyra는 생성 모델에 기반한 새로운 음성 압축 방식으로서, 기존 음성 압축 방식들이 원본 수준의 음질, 즉 transparent quality를 얻기 위해 약 8-16kbps 정도가 필요한 것을 크게 향상시켜서 3kbps의 낮은 대역폭 만으로도 transparent quality를 얻을 수 있는 것이 특징입니다. 다음은 관련 블로그 글입니다...

MIT의 Speech2Face는 음성신호로부터 화자의 얼굴을 생성해내는 연구입니다. 다만 하나의 모델로 speech to face transform을 수행하는 것이 아니며, 다른 목적의 기존 연구 결과들을 잘 조합하여 인상적인 결과를 만들어냅니다. (제1 저자는 현재 포항공대에 계시는 오태현 교수님입니다) 첫 번째는 이미지로부터 facial vect...

LipGAN은 음성 신호를 이용하여 얼굴 이미지의 입술 모양을 생성하는 기술인데, 실제로 동영상에 적용해보니 visual artifact나 움직임의 자연성 측면에서 다소 아쉬움이 있었습니다.이를 개선하기 위해서 Discriminator에서 단일 frame이 아니라 복수개의 연속된 frame을 이용하여 temporal correlation을 고려하고, 단순...

코로나19가 전세계적으로 아직 진정될 기미를 보이지 않고 있습니다. MIT에서는 핸드폰으로 녹음한 기침소리로부터 코로나19 감염 여부를 확인할 수 있는 AI 모델을 학습하였고, 이에 대한 방법론과 실험 결과를 논문으로 발표하였습니다. 실험 결과에 따르면, 약 98%의 정확도로 코로나19 감염 여부를 예측할 수 있었을 뿐 아니라, 심지어 무증상 감염...

Interspeech 2020에 발표되었던 Facebook의 실시간 잡음 제거 기술인 denoiser의 github 링크를 공유합니다. facebookresearch/denoiserReal Time Speech Enhancement in the Waveform Domain (Interspeech 2020)We provide a PyTorch ...

대다수의 챗봇 시스템은 아직도 규칙 기반으로 동작하지만, 자연스러운 대화를 구현하기 위해서는 결국 BERT 등 더 복잡한 언어 모델들을 사용해야 합니다. 다만, BERT는 무겁고 복잡하다는 인식이 많은데, 게임 플랫폼 업체인 Roblox에서 BERT를 사용하여 서비스화하기 위해 했던 일들을 간략하게 소개했습니다. 기본적으로 GPU를 써서 서비스하는 것은 ...

AI 챗봇이 주로 하는 일은 상품 정보 설명, 스케줄 알려주기, 날씨 확인 등 질의 응답이라고 할 수 있습니다. 아마도 이러한 기술이 극대화 되면 '지식'이라는 인간의 일부 분야에 대해서 'Super Human AI'에 도달할 수 있을 것입니다. 그러나, "Human-Like AI"라면 특정 기능 극대화 보다는 전반적인 인간의 능력에 대한 고민이 필...

IBM의 감성 로봇 나오미(Nao-mi)에 대한 영상입니다. [내용 요약] 어렵게 쌓은 탑을 무너뜨리라고 요구하는 사람과 하기 싫다고 말하는 로봇. 계속적인 요구에 로봇은 울다가 결국 무너뜨립니다. 영상을 보면서 가슴이 많이 아팠습니다. 마음을 표현하고, 상호작용 하는 로봇이 사람의 마음까지 움직이네요. 이런게 인간같은 로봇이라는 생각이...

최근 재미있게 읽은 인간의 능력과 신경망의 관계에 대한 글입니다. 글에도 나오지만 인간의 뇌와 신경망의 동작 방식은 유사한 구석이 있지만 같을 필요는 없다고 봅니다. 헤엄치기 위해 물고기를 따라하기 보다는 잠수함을 만들면 되고, 날기 위해서 새를 따라하기 보다는 비행기를 만들면 되는 것 처럼요 (글쓴이의 예제입니다) 글에서는 인간의 기억 특성을 ep...

BERT로 대표되는 딥러닝 기반의 대규모 언어 모델은 Q&A, 문서 요약, 문서 생성, 대화 등 자연어 관련한 다양한 task에서 뛰어난 성능을 보이고 있으며 특히 최근 등장한 GPT-3의 경우 인공 일반 지능(AGI)에 한층 접근한 것으로 평가하는 사람들도 있습니다. 자연어 이해(NLU) 전문 업체인 ONTOLOGIK의 수석 AI 과학자인 ...

유명 게임 회사인 King의 캔디크러시사가는 수 많은 레벨로 구성되어 있는 퍼즐 게임입니다. 2018년 데이터이긴 하지만 매주 약 15개의 레벨을 추가한다고 합니다. (1년에 약 3700개) 레벨의 난이도를 측정하여 밸런싱을 해야 하는데, 문제는 인간 테스터의 경우 레벨 1개당 1주일이 걸린다고 합니다. 이 문제를 해결하기 위해서 인간과 유사한 방식...

인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서 감성 라벨링이 되어 있는 오픈 데이터셋을 하나 소개합니다. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) 라고 부르는 데...

현재까지 제안된 많은 MRC 모델들이 다양한 Task와 Dataset에서 인간의 능력을 넘어선 평가값을 보여주고 있지만, 주어진 context에 대해서 인간보다 더 잘 이해하는 것인가?라는 질문을 받는다면 쉽게 YES라고 말하기 어렵다고 생각합니다. 우선, 현재의 MRC 기법들이 과연 "understanding"을 하는 것인가에 대해서 여러 가지 이...

Text-to-SQL은 자연어를 SQL로 자동 변환하는 Task입니다. 하단에 공유한 글은 Microsoft 소속의 Aerin Kim이 작성한 글인데, Text-to-SQL에 대해서 잘 정리되어 있습니다. 세상에는 수 많은 데이터들이 Relational Database로 구축되어 있고, 이 Database에서 정보를 취득하기 위해 사용되는 표준 언어가 S...

일상 대화 연구에서 두각을 나타내고 있는 스캐터랩(https://scatterlab.co.kr/) 핑퐁팀 블로그에 있는 글인데 GPT-3 사례에 대해서 스토리있게 잘 정리된 것 같아서 공유합니다. 저는 GPT-3를 아직은 '의심의 눈초리'로 보고 있습니다만 다시 봐도 신기한 건 틀림없네요^^ 다만, GPT-3를 기존 언어 모델들과 비교하는 대신 좀 ...

최근 트렌드 중 하나는 초거대 모델, 즉 파라미터의 수를 엄청나게 늘리고 기존 학습법을 적용하는 것입니다. 인간의 뇌가 보여주는 "소프트웨어적 능력"은 둘째 치고, 얼마나 늘려야 인간의 뇌의 "하드웨어적" 능력에 도달할 것인가?에 대해서 궁금해져서 생각을 해 보았습니다. (같은 하드웨어 능력에 도달한다면, 이제는 인간 vs. AI의 알고리즘 효율성에 대한...

IBM의 감성 로봇 나오미(Nao-mi)에 대한 영상입니다. [내용 요약] 어렵게 쌓은 탑을 무너뜨리라고 요구하는 사람과 하기 싫다고 말하는 로봇. 계속적인 요구에 로봇은 울다가 결국 무너뜨립니다. 영상을 보면서 가슴이 많이 아팠습니다. 마음을 표현하고, 상호작용 하는 로봇이 사람의 마음까지 움직이네요. 이런게 인간같은 로봇이라는 생각이...

Few shot learning만으로 모든 자연어 task에 적용할 수 있는 가능성을 보여준 초대규모 언어 모델의 대명사 GPT-3의 학습 비용은 한화로 약 40억원으로 추산된다고 합니다. GPT-2의 경우는 약 4천만원. 아무리 재활용성이 높다고 해도 웬만한 회사에서는 R&D로 투자하기 힘든 금액입니다. (누군가 KoGPT-3를 만들어서 배포해주...

BERT로 대표되는 딥러닝 기반의 대규모 언어 모델은 Q&A, 문서 요약, 문서 생성, 대화 등 자연어 관련한 다양한 task에서 뛰어난 성능을 보이고 있으며 특히 최근 등장한 GPT-3의 경우 인공 일반 지능(AGI)에 한층 접근한 것으로 평가하는 사람들도 있습니다. 자연어 이해(NLU) 전문 업체인 ONTOLOGIK의 수석 AI 과학자인 ...

Digital Twin이란 현실 세계에서 실체를 가지고 있는 사물이나 환경을 가상 공간으로 그대로 옮겨놓고, 둘 사이를 연동시키는 것을 의미합니다. 간단히 표현하자면 현실 세계를 디지털로 모델링하는 것을 의미하지만, 단순히 모델링하는 것 뿐 아니라 실세계 데이터 연동, 운영, 제어, 분석 등을 모두 포괄하는 의미로 사용됩니다. 흔히 simulation이라...

디지털화가 진행되고 인터넷, 웹이 등장하면서 지식은 전세계 서버에 분산되어 저장되었고 서로 연결되고 검색 가능하게 되어 접근성과 활용성이 비약적으로 발전합니다. 책을 도서관에서 빌려서 순차적으로 읽으면서 정보를 "검색"하는 대신, 검색 엔진을 이용하여 이미 풀텍스트 인덱싱된 거대한 지식베이스에서 원하는 정보를 바로 찾아냅니다. 하지만, Cisco 애...

예측 분야에서, Algorithm Aversion(알고리즘 혐오)는 알고리즘이 실수할 수 있다는 것을 인지하게 되면 인간의 예측보다 우수하더라도 쓰지 않으려는 경향이 있다는 의미로 쓰입니다. 예를 들어 AI 면접, 질병 예측, 자율 주행, AI 판사와 같은 경우, 모든 기술적 난제가 해소되어 평균적으로 인간보다 우수한 성능에 도달하게 되더라도 쓰는 것을 ...

Human-like AI를 탑재한 인간형 캐릭터의 완성도가 엄청나게 향상되었다고 가정해보면, 이를 컴퓨터나 스마트폰 스크린과 같은 2D 평면에 전시하고 마우스, 키보드, 터치로 상호작용을 하는 것만으로는 잠재력을 충분히 사용하지 못한다는 생각이 듭니다. 이의 대안으로 생각할 수 있는 것들이 AR이나 VR과 같은 기술인데 아직 현실감과 조작감 측면에서...

일상 대화 연구에서 두각을 나타내고 있는 스캐터랩(https://scatterlab.co.kr/) 핑퐁팀 블로그에 있는 글인데 GPT-3 사례에 대해서 스토리있게 잘 정리된 것 같아서 공유합니다. 저는 GPT-3를 아직은 '의심의 눈초리'로 보고 있습니다만 다시 봐도 신기한 건 틀림없네요^^ 다만, GPT-3를 기존 언어 모델들과 비교하는 대신 좀 ...

핑퐁 블로그에 "슈퍼휴먼 AI를 꿈꾸는 루다의 대화 구성"이라는 글이 올라왔는데, 오픈 도메인 챗봇을 설계함에 있어서 고민해야 할 부분들이 여러 가지 들어 있어서 공유합니다. 이루다는 일상 대화 기술을 고도화하고 있는 스캐터랩이 개발한 오픈 도메인 챗봇인데, 페이스북 메신저 플랫폼 위에서 개발되어 쉽게 테스트 가능합니다. 오픈 도메인 챗봇에 관해 기획하고...

AI 챗봇이 주로 하는 일은 상품 정보 설명, 스케줄 알려주기, 날씨 확인 등 질의 응답이라고 할 수 있습니다. 아마도 이러한 기술이 극대화 되면 '지식'이라는 인간의 일부 분야에 대해서 'Super Human AI'에 도달할 수 있을 것입니다. 그러나, "Human-Like AI"라면 특정 기능 극대화 보다는 전반적인 인간의 능력에 대한 고민이 필...

이미지 한장을 입력으로 얼굴 표정을 바꾸는 애니메이션을 만들어주는 기술인 GANimation의 코드 저장소입니다. 기본적으로는 conditional GAN인데, 얼굴의 해부학적 움직임을 기술하기 위한 방법론인 FACS (facial action coding system)를 활용하였습니다. FACS에 따르면 우리 얼굴은 약 43개의 근육을 활용하여 총...

락스타에서 만든 2011년작인 LA 느와르는 다른 게임보다 훨씬 우월한 수준의 얼굴 애니메이션이 적용되어 많은 사람들을 놀라게 했습니다. 이때 사용된 기술은 MotionScan이라고 불리는데, 기본적으로 여러대의 카메라가 정교하게 배치된 방 안에 배우가 앉아서 연기를 하고, 이를 캡춰하여 재가공하는 방식이라서 비용이 매우 높습니다. 그래서 대형 게임사가 ...

53,000시간의 라벨링 없는 데이터로 representation training을 한 후, 10분 분량의 라벨링 된 데이터만으로 음성인식기를 만들어낸다고 해서 화제가 되었던 Facebook의 wav2vec 2.0에 대한 pre-trained model이 공개가 되었습니다. Representation model에 no fine-tuning, 10분,...

Text-to-SQL은 자연어를 SQL로 자동 변환하는 Task입니다. 하단에 공유한 글은 Microsoft 소속의 Aerin Kim이 작성한 글인데, Text-to-SQL에 대해서 잘 정리되어 있습니다. 세상에는 수 많은 데이터들이 Relational Database로 구축되어 있고, 이 Database에서 정보를 취득하기 위해 사용되는 표준 언어가 S...

일상 대화 연구에서 두각을 나타내고 있는 스캐터랩(https://scatterlab.co.kr/) 핑퐁팀 블로그에 있는 글인데 GPT-3 사례에 대해서 스토리있게 잘 정리된 것 같아서 공유합니다. 저는 GPT-3를 아직은 '의심의 눈초리'로 보고 있습니다만 다시 봐도 신기한 건 틀림없네요^^ 다만, GPT-3를 기존 언어 모델들과 비교하는 대신 좀 ...

통합 자연어 처리 패키지로 유명한 HuggingFace에 음성 인식 기능이 추가되었습니다. 다음은 관련 링크입니다: facebook/wav2vec2-base-960h · Hugging FaceWe’re on a journey to solve and democratize artificial intelligence through natural l...

FrankMocap은 Facebook AI Research(FAIR)에서 공개한 기술로서 한 장의 이미지, 혹은 동영상에서 3D 모델을 위한 포즈를 추출해내는 역할을 합니다. 특히, 바디 뿐 아니라 손 모양까지 함께 추정할 수 있다는 것이 특징이라고 할 수 있습니다. 일반적으로 3D 포즈 추출을 위해서는 모션 캡춰 기술을 사용하는데, 여러 대의 카메...

특수 훈련을 받으면 입술 움직임만으로 무슨 말 하는지 알 수 있다고 하는 이야기를 들은 적이 있는데요, 링크글의 연구는 이것을 AI로 실현한 것입니다^^ Lip2Wav라고 불리는 이 기술은 이미지로부터 ConvNet을 이용하여 feature를 추출한 후, attention 기반의 speech decoder로 mel cepstrum을 생성해냅니다. 그 후엔...

bryandlee님 github에 deep generative model을 이용한 image translation 적용 결과와, 침착맨 이말년 웹툰으로 만든 관련 연구가 있어서 공유합니다. 연구 제목도 "침착한 생성모델 학습기"입니다. 전 이런 위트가 좋더라구요! 과정을 보면, 웹툰 500컷을 가져다가 얼굴 위치 인식기를 쓰다가 잘 안 되서 결국 손...

애니메이션 캐릭터 이미지 데이터베이스인 Danbooru 2019 버전 링크를 소개합니다. 약 3.7백만개의 이미지가 있고 이미지당 약 29개의 tag가 붙어 있습니다. Tag의 예제로는 "1girl", "solo", "long_hair", "highres", "smile", "open_mouth"와 같은 것들이 있어서 다양한 목적으로 사용 가능합니다. 링...

인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서 감성 라벨링이 되어 있는 오픈 데이터셋을 하나 소개합니다. The Ryerson Audio-Visual Database of Emotional Speech and Song (RAVDESS) 라고 부르는 데...

현재까지 제안된 많은 MRC 모델들이 다양한 Task와 Dataset에서 인간의 능력을 넘어선 평가값을 보여주고 있지만, 주어진 context에 대해서 인간보다 더 잘 이해하는 것인가?라는 질문을 받는다면 쉽게 YES라고 말하기 어렵다고 생각합니다. 우선, 현재의 MRC 기법들이 과연 "understanding"을 하는 것인가에 대해서 여러 가지 이...

Text-to-SQL은 자연어를 SQL로 자동 변환하는 Task입니다. 하단에 공유한 글은 Microsoft 소속의 Aerin Kim이 작성한 글인데, Text-to-SQL에 대해서 잘 정리되어 있습니다. 세상에는 수 많은 데이터들이 Relational Database로 구축되어 있고, 이 Database에서 정보를 취득하기 위해 사용되는 표준 언어가 S...

게임 제작 쪽에서는 이미 많이 활용하고 있는 Adobe Mixamo 사이트 링크 공유합니다. 들어가보면 3D 캐릭터 121개와 캐릭터 모션 2484개가 올라와 있고, (Autodesk) FBX라는 3D 포맷으로 다운받을 수 있습니다. 이 포맷은 3ds나 Maya에서도 읽을 수 있고, 유니티나 언리얼 엔진에서도 쓸 수 있습니다. 캐릭터 모션은 상당히 특수한...

특수 훈련을 받으면 입술 움직임만으로 무슨 말 하는지 알 수 있다고 하는 이야기를 들은 적이 있는데요, 링크글의 연구는 이것을 AI로 실현한 것입니다^^ Lip2Wav라고 불리는 이 기술은 이미지로부터 ConvNet을 이용하여 feature를 추출한 후, attention 기반의 speech decoder로 mel cepstrum을 생성해냅니다. 그 후엔...

AI 분야의 다양한 논문들 및 연계된 오픈 소스, 그리고 SOTA에 대한 정보를 제공하는 paperswithcode에서는 3천개가 넘는 유용한 데이터셋 링크를 함께 제공하고 있습니다. 이 중 텍스트에 대한 데이터셋은 851종이며, 한국어로 한정할 경우 아래의 데이터셋 링크들이 검색됩니다: Dataset NameDescriptionUnivers...

(자율주행차 등에 사용될) 도로 상황 인식 연구를 위해 만들어진 데이터셋 DriveSeg입니다. 동영상의 각 프레임에 대해, 이미지 전체를 pixel-by-pixel로 semantic labeling 한 것입니다. Label은 "vehicle, pedestrian, road, sidewalk, bicycle, motorcycle, building, ter...

Visual Dialog task는 질의 응답으로 이루어지는 Q&A task에 이미지를 추가한 멀티모달 task입니다. 예를 들어 흰색 고양이와 검은색 강아지가 함께 있는 사진을 주고 "고양이 옆 동물은 무슨 색이야?"라고 물어보면 "검은색"하고 대답하는 식이지요. 구체적으로, 이미지와 dialog history, question을 주면 answe...

국립국어원이 인공지능 학습용 한국어 자료를 대규모(13종 18억 어절)로 공개했습니다. 저작권 문제를 해결하여 구축한 것이며 ‘모두의 말뭉치’ 사이트에서 온라인 약정서를 작성, 승인을 받으면 누구나 파일을 내려받아 사용할 수 있다고 합니다. 이번에 구축한 자료에서는 지난 ‘21세기 세종계획’에 비해 일상 대화, 메신저, 웹 문서 등 구어체 자료의 비...

■ 스마일게이트 그룹, 엔터테인먼트 산업 특화 AI 센터 설립 ■ 단순 정보 제공보다는 재미와 감동을 추구하는 Fun AI, 인간의 단위 기능 구현보다는 종합적 인간화 기술을 추구하는 Human-like AI 개발 목표 [2020-0803] 스마일게이트는 AI(인공지능) 기술을 기반으로 엔터테인먼트 산업에 특화된 AI...

Smilegate.AI의 홈페이지가 리뉴얼되어 새로 오픈되었습니다. 스마일게이트가 추구하는 AI 전략 방향에 맞는 기술 및 데이터들을 인간이 수행하는 기능에 따라 분류하여 제공하는 것은 물론, 향후 Smilegate.AI에서 진행하는 프로젝트의 결과들을 공개하는 목적으로 활용될 예정입니다. 각 기술들은 인간의 외모에 해당하는 Visual, 청각과 발...

■ 세아, 스트리밍 방송 데뷔! 8월엔 라이브 방송 정식 출범 ■ 샌드박스 네트워크와 함께 보다 많은 방송 활동 기대! [2020-0730] 스마일게이트 엔터테인먼트(대표 장인아)는 한국 최초의 버츄얼 유튜버 ‘세아(SE:A)’가 본격적인 방송 활동을 위해 MCN 업계의 대표 디지털 엔터테인먼트 기업인 샌드박스 네트워크와 전속...

코로나19로 인한 온라인 교육 환경에서 사각지대에 놓인 청각장애 아동∙청소년을 위한 AI 기반 실시간 문자 통역 소프트웨어 서비스 지원 M.A.P 툴팩 크라우드 펀딩 수익금과 퓨처랩 워크숍 참가자 기부금 전액 환원 … ‘나눔의 선순환’  문화 확산 기대 [2020-1021] 창의환경 연구센터 스마일게이트 퓨처랩(이하 퓨처랩)이 자체 개발 창의 학습 ...

세아 라이브 방송서 시청자 원하는 콘텐츠로 적극 소통, 반응 ‘굿’시즌2 시작과 동시에 출범한 트위치 방송도 1만 명 육박하는 구독자 증가 [2020-0814] 스마일게이트 엔터테인먼트(대표 장인아)는 한국 최초의 버추얼 유튜버 ‘세아(SE:A)’가 지난 1개월 동안의 테스트 방송을 거쳐 본격 라이브 방송을 시작한 결과 시청자들의 적극적인 호응에 힘...

최근 기업들의 인재상에서 빼놓지 않고 등장하는 단골 항목은 바로 ‘창의성’이다. 빠르게 변화하는 시대 속에서 팔로워가 아닌 리더가 되려면 전에 없던 아이디어로 문제를 해결하는 창의성이 필수적이다. 그러나 혼자서, 경직된 환경에서 창의성을 발현하기란 무척 어렵다. 자유롭게 꿈꾸고 아이디어를 제시할 수 있는 환경, 그리고 함께 고민하며 성장할 수 있는 관계가...

Smilegate.AI의 facebook 페이지가 개설되었습니다. 이 곳 홈페이지에서는 주로 기술적이고 전문적인 내용들을 공유한다면, facebook 페이지에서는 센터 소식이나 연구 과정, 생활에 대한 스몰토크들을 소개할 예정입니다. 예를 들어, 최근에 올라온 포스트는 신규 입사자 교육의 날에 대한 글입니다^^ 오늘은 울적한 날입니다.'신규 ...

오렌지플래닛 전주센터 입주사인 ‘메디케이시스템'은 ICT(정보통신기술)을 기반으로 한방 탕전실 솔루션을 개발하는 헬스케어 기업이다. 한방 산업에 4차 산업혁명 신기술을 접목시켜 한의학계에 새로운 바람을 불러일으키고 있다. 최근 한의업계에도 체계적인 한약조제 관리에 대한 요구가 높아지고 있지만 그동안은 이를 지원하는 체계적인 시스템이 없었다. 한의원과 공동...

최근 인기리에 방영 중인 드라마 <스타트업>에는 창업을 꿈꾸는 청춘들이 등장한다. 열정으로 가득한 이들의 뒤에는 사업, 조직 구성 등 처음 도전을 시작한 이들을 돕는 숨은 조력자, 멘토가 있다.  스마일게이트는 오렌지플래닛에 입주한 스타트업을 비롯해 인디게임을 제작하는 청년 창작자나 IT 개발자를 꿈꾸는 대학생 등 다양한 분야에서...

29일 정오부터 24시간 꽉 찬 스케줄…깜짝 게스트 등장도 예고!방송 기부금 전액, 희망스튜디오 전달… 다문화 대안교육기관 ‘해밀학교’ IT 인프라 지원 예정 [2020-1228] 스마일게이트 엔터테인먼트(대표 장인아)는 한국 최초의 버추얼 크리에이터로 시작해 온라인 셀럽으로 우뚝 선 ‘세아(SE:A)’가 연말연시를 맞아 세상을 더 아름답게 만드는 ...