Wav2Vec 2.0 공개 – 10분 음성으로 ASR 만들기 2020년 8월 5일 - Virtual Human: Saya Project 2020년 7월 29일
- 이말년 웹툰 스타일 생성 코드 2020년 9월 21일
- FastSpeech2 Open Source 2020년 8월 19일
- Unity ArtEngine 2020년 11월 20일
News
Smilegate.AI facebook 페이지 개설
Smilegate.AI의 facebook 페이지가 개설되었습니다. 이 곳 홈페이지에서는 주로 기술적이고 전문적인 내용들을 공유한다면, facebook 페이지에서는 센터 소식이나 연구 과정, 생활에 대한…
스마일게이트 퓨처랩, 청각장애 아동∙청소년 위한 AI 문자 통역 서비스 지원
코로나19로 인한 온라인 교육 환경에서 사각지대에 놓인 청각장애 아동∙청소년을 위한 AI 기반 실시간 문자 통역 소프트웨어 서비스 지원 M.A.P 툴팩…
함께 성장하는 창의 커뮤니티, 무지개 프로젝트
최근 기업들의 인재상에서 빼놓지 않고 등장하는 단골 항목은 바로 ‘창의성’이다. 빠르게 변화하는 시대 속에서 팔로워가 아닌 리더가 되려면 전에 없던…
[스마일게이트 오렌지플래닛] 한의학, 4차 산업혁명을 만나다! ‘메디케이시스템’
오렌지플래닛 전주센터 입주사인 ‘메디케이시스템’은 ICT(정보통신기술)을 기반으로 한방 탕전실 솔루션을 개발하는 헬스케어 기업이다. 한방 산업에 4차 산업혁명 신기술을 접목시켜 한의학계에 새로운…
스마일게이트 퓨처랩, 스마일게이트멤버십 ‘오픈베타데이’ 성료!
14일부터 20일까지 온라인을 통해 총 14종의 인디 게임에 대한 유저 피드백 행사 개최 스마일게이트멤버십, 포스트 코로나 시대에 창작자를 꿈꾸는 청년들을…
‘WCG 2020 CONNECTED’ 일정 및 종목 공개
WCG 2020 CONNECTED, 온라인으로 전 세계 e스포츠 팬들을 하나로 연결하고, 팬들과 소통을 강화한 ‘온’택트 (On-tact)방식 운영 예정 WCG 2020 CONNECTED…
Weekly Popular
Recruit
AI 강화학습 전문가 채용
AI 분야 중 Reinforcement Learning 관련 기술들을 폭 넓게 이해하고, 이로부터 프로젝트를 스스로 제안하고 방향을 주도할 수 있는 능동적 인재를…
AI Visual 전문가 채용
AI 분야 중 GAN, Style Transfer, Retargeting 등 Visual 관련 기술들을 폭 넓게 이해하고, 이로부터 프로젝트를 스스로 제안하고 방향을 주도할…
AI 서비스 개발자 채용
다양한 분야의 개발 역량을 갖추고 신규 아이디어를 Fast Prototyping 할 수 있는 능력을 보유한 능동적 인재를 찾습니다. 다양한 AI 기술들을…
AI 전문가 채용
AI 분야 및 최신 기술들을 폭 넓게 이해하고, 이로부터 프로젝트를 스스로 제안하고 방향을 주도할 수 있는 능동적 인재를 찾습니다. 혁신적…
Recent Posts
K-POP 시장에 진입하는 아바타 기술
아바타는 AI 기술이 등장하기 오래 전 부터 SNS, 고객 응대, 게임 내 캐릭터 표현 등 여러 가지 형태로 활용되어 왔습니다.…
Unity ArtEngine
Unity의 ArtEngine은 AI 기반의 기술을 이용해서 고품질의 그래픽 리소스들을 쉽게 만들 수 있도록 도와주는 도구입니다. Unity에서는 이러한 기술들을 AI-assisted artistry라고…
Facebook Denoiser: real-time speech enhancement
Interspeech 2020에 발표되었던 Facebook의 실시간 잡음 제거 기술인 denoiser의 github 링크를 공유합니다. Pytorch로 구현되어 있으며 원 논문 제목은 “Real Time…
스마트폰과 비교한 AI 마켓 규모
IDC 예측 보고서에 따르면 2020년 AI 마켓 규모는 약 157B$로 예측된다고 합니다. 물론 이 수치는 AI와 관련된 다양한 업종, 즉…
Video QA – 3D Attention is All You Need
일반적으로 Q&A 시스템은 텍스트를 사용해서 질의 응답을 수행합니다. 이런 방식의 태스크로는 어떤 사실을 설명한 문단을 주고 질문을 던지면 적당한 대답을…
UneeQ의 디지털 휴먼 플랫폼 출시
UneeQ가 Digital Human Creator라는 디지털 휴먼 플랫폼을 출시했습니다. 서비스 가격이 다소 부담스럽긴 하지만, free trial을 제공하고 있어서 간단한 테스트를 해…
VIBE: 영상으로부터 3D 휴먼 모델 파라미터 예측하기
Human-Like AI의 시각화 부분을 구현하기 위해서는 3D 휴먼 모델을 어떻게 만들고, 움직일 것인가에 대한 고민이 필요한데 기존 다양한 접근 방법이…
100개국 이상의 데이터로 학습된 다국어 번역 모델과 언어 모델
기존 영어 위주로 연구되던 언어 모델 및 번역 모델을 다국어로 확장하려는 시도가 많이 이루어지고 있습니다. Google의 mT5는 기존 T5 (text-to-text…
기침소리로 코로나19 감염여부를 예측하는 AI 기술
코로나19가 전세계적으로 아직 진정될 기미를 보이지 않고 있습니다. MIT에서는 핸드폰으로 녹음한 기침소리로부터 코로나19 감염 여부를 확인할 수 있는 AI 모델을…
Adobe Neural Filter: 이미지 편집 패러다임의 변화
Adobe에서 neural filter라고 불리는 AI 기반의 편집 도구들을 발표했습니다. 일부는 이미 Photoshop 최신 버전에 포함되었다고 하네요. 예시로 든 기능에는 사진의…
2020년 네 가지 이벤트로 본 미디어 압축 분야 AI 트렌드
2020년은 미디어 압축 분야에서 AI 기술 적용이 본격적으로 고려되는 원년이 될 것 같습니다. 올해 있었던 4가지 이벤트를 간략하게 살펴보면 다음과…
오픈 도메인 챗봇을 위한 대화 구성 접근법
핑퐁 블로그에 “슈퍼휴먼 AI를 꿈꾸는 루다의 대화 구성”이라는 글이 올라왔는데, 오픈 도메인 챗봇을 설계함에 있어서 고민해야 할 부분들이 여러 가지…
블루투스 기반의 코로나19 위험군 판별 기술
AI 기술을 이용한 코로나19 관련 연구들이 다수 등장하고 있습니다. 아래에 공유한 논문은 Nature지에 게재된 Fraunhofer HHI의 연구로서, Bluetooth Low Energy(BLE)로부터…
NVidia Maxine: AI 기반 화상 통신 플랫폼
NVidia에서 Maxine이라는 클라우드 기반 화상 통신 플랫폼을 공개했습니다. Maxine의 특징은 AI 기술을 전면적으로 도입한 것인데, 구체적으로 얼굴 영상을 H.264와 같은…
유관순 열사 사진 화질 복원 및 표정 변경
마음이 참 짠했던 사진입니다. 저화질로만 남아 있는 유관순 열사의 사진을 고화질로 복원하고 미소를 덧붙인 것인데, 딥러닝 기반의 얼굴 편집 기술이…
Vid2Player: 영상 분석 기반의 테니스 선수 모션 생성
최근 사람의 모션에서 움직임을 추출하여 새로운 모션을 생성하는 기술들이 많은 것 같습니다. (vid2vid, vid2game, pose2pose) Vid2Player는 Stanford 대학에서 연구한 내용인데,…
MEAL v2: ResNet-50으로 ImageNet Top-1 80% 달성하기
여러 네트워크 모델을 앙상블로 결합하면 성능이 오르는데, 총 네트워크의 크기와 추론 시간도 함께 증가하기 때문에 실제로 적용할 때는 어려움이 많은…
HuggingFace Datasets 1.0
NLP Dataset과 Evaluation metric을 쉽게 사용할 수 있게 해 주는 Huggingface Datasets 라이브러리의 첫 번째 stable version 1.0이 공개되었습니다. 현재…
강화학습 기반의 확장 가능한 캐릭터 애니메이션 생성
가상 캐릭터를 보기에도 자연스럽고 물리 법칙 측면에서도 합리적으로, 즉 Human-Like하게 움직이는 것은 게임 분야는 물론 컴퓨터 그래픽스 전반에 걸쳐 오랜…
Wav2Lip: 음성으로부터 입술 모양 생성
LipGAN은 음성 신호를 이용하여 얼굴 이미지의 입술 모양을 생성하는 기술인데, 실제로 동영상에 적용해보니 visual artifact나 움직임의 자연성 측면에서 다소 아쉬움이…
HuggingFace와 ONNX Runtime을 통한 NLP 가속
Transformer 기반의 언어 모델들이 보여주는 성능적 향상은 놀랍지만 모델 크기가 기하급수적으로 늘어나면서 서비스 비용에 대한 고민도 중요해지고 있습니다. Bert-base나 GPT-2의…
국립국어원의 AI 학습용 한국어 데이터
국립국어원이 인공지능 학습용 한국어 자료를 대규모(13종 18억 어절)로 공개했습니다. 저작권 문제를 해결하여 구축한 것이며 ‘모두의 말뭉치’ 사이트에서 온라인 약정서를 작성,…
Gran Turismo를 위한 슈퍼휴먼 AI
링크는 Sony와 ETH Zurich에서 발표한 논문에 대한 리뷰글인데, 유명 자동차 게임인 Gran Turismo를 대상으로 reinforcement learning을 적용해서 인간 기록을 넘는…
GPT-3 사례들과 minGPT 프로젝트
일상 대화 연구에서 두각을 나타내고 있는 스캐터랩(https://scatterlab.co.kr/) 핑퐁팀 블로그에 있는 글인데 GPT-3 사례에 대해서 스토리있게 잘 정리된 것 같아서 공유합니다.…
이말년 웹툰 스타일 생성 코드
bryandlee님 github에 deep generative model을 이용한 image translation 적용 결과와, 침착맨 이말년 웹툰으로 만든 관련 연구가 있어서 공유합니다. 연구 제목도…
Facebook TransCoder: 비지도 학습 프로그래밍 언어 번역기
하나의 프로그래밍 언어로 쓰여진 코드를 다른 프로그래밍 언어로 바꾸고자 하는 시도는 그 동안 많이 있어왔고, 상용 툴도 여러 종류가 있습니다.…
이미지 분류 문제에 대한 인간과 AI의 성능 비교 분석
Imagenet-1K(1000개 클래스 이미지 분류 문제)는 CNN의 발전과 더불어 수많은 최적화가 이루어져온 Task입니다. 딥러닝 시대의 개막을 알린 AlexNet의 TOP-5 에러는 약…
AR Glass 컨셉영상과 상호작용의 필요성
Iskander Utebayev라는 디자이너가 만든 AR Glass 컨셉 영상입니다. 컨셉영상인 것을 감안하더라도 상당히 Fancy하고 일단 구현만 된다면 스마트기기를 사용하는 Human-Machine Interface를…
Lip2Wav: 입술 움직임만으로 음성 신호를 생성
특수 훈련을 받으면 입술 움직임만으로 무슨 말 하는지 알 수 있다고 하는 이야기를 들은 적이 있는데요, 링크글의 연구는 이것을 AI로…
포털 댓글과 신조어가 반영된 한국어 언어모델 KcBERT 공개
대규모 언어 모델의 경우 한국어 모델이 없어 항상 어려운 점이 있었는데 SKT의 KoBERT에 이어 Naver에서 네이버 댓글 데이터, 신조어 등을…
Pixar의 Super Resolution 기술과 그 응용사례
딥러닝 기반의 super resolution 기술은 NVidia의 최신 GPU에서 DLSS(deep learning super sampling)라는 이름으로 채용되어 consumer 대상으로 실 서비스되는 기술이 되었는데요,…
Google MixNet과 구현 친화도
일반적으로 이미지에서 사용되는 convolution은 3D operation입니다. (KxKxC; K=커널크기, C=채널수) 이것을 KxKx1의 2D operation 복수개로 분할하여 적용한 후, 채널 방향으로 1x1xC…
음성으로 몸 동작 생성하기
LipGan은 음성 신호로부터 입 모양을 생성하는 연구입니다. 가상 캐릭터의 입 애니메이션을 만들어내는데 유용하게 사용될 수 있는 기술이지만, 실제로 적용해 보면…
Microsoft Teams Together 모드
최근 비대면 화상 미팅이 일상화 되면서 Zoom을 사용해서 다자간 화상 회의를 하는 일이 많아졌습니다. Zoom fatigue라고 불리는 현상도 더불어 주목받고…
H.266/VVC 표준과 딥러닝 기술
(ISO MPEG) VVC 혹은 (ITU-T) H.266이라는 이름을 갖는 신규 영상 코덱의 국제 표준안이 릴리즈 되었습니다. 관련 기사 공유합니다. 딥러닝 기술이…
AI Fall or Renaissance
각종 통계를 보면 AI 관련 major conference 참가자의 수는 5년간 6배가 증가했으며 AI 스타트업의 수는 비 AI 스타트업이 4년간 28%…
멀티모달 Q&A – Visual Dialog Task
Visual Dialog task는 질의 응답으로 이루어지는 Q&A task에 이미지를 추가한 멀티모달 task입니다. 예를 들어 흰색 고양이와 검은색 강아지가 함께 있는…
AI와 인간의 협업: 새로운 집단 지성
최근 재미있게 읽은 글 공유합니다. 이 글에서는 인간과 AI가 각자 잘하는 분야가 다르고, 어느 한 쪽이 다른 쪽을 대치하기 보다는…
Motion Retargeting from Motion, Skeleton and Angle
SIGGRAPH 2019에서 발표된 논문인 “Learning Character-Agnostic Motion for Motion Retargeting in 2D”의 프로젝트 페이지 공유합니다. 이 논문은 (서로 달라도 되는)…
Adobe Mixamo: 3D 캐릭터 모델 오픈 데이터
게임 제작 쪽에서는 이미 많이 활용하고 있는 Adobe Mixamo 사이트 링크 공유합니다. 들어가보면 3D 캐릭터 121개와 캐릭터 모션 2484개가 올라와…
FastSpeech2 Open Source
Tacotron2, MelGan, FastSpeech등 여러 최신 TTS 모델을 지원하는 Tensorflow 2 기반의 오픈소스인 TensorflowTTS가 드디어 Microsoft FastSpeech2를 지원하기 시작했습니다. FastSpeech2는 Transformer…
AI: Intelligence vs. Automation
링크글은 Intelligence와 Automation의 차이에 대한 많은 고민이 들게 만드는 글입니다. Artificial Intelligence는 1960년대 신경망이 등장하면서 쓰이게 된 용어로 알려져 있는데요,…
표정과 몸동작을 반영하는 감정인식
영상이나 이미지로부터 감정을 인식하는 시도들은 다양하게 있어 왔습니다. 클라우드 API에서도 제공되고 SNS에서도 화제가 될 만큼 (기쁨 95% 등등) 많이 알려진…
GAN 기반 Image Compression
동영상 압축 분야에서도 무어의 법칙(트랜지스터의 수가 2년에 2배씩 증가)과 같은 것이 있는데, 1993년 MPEG-1, 2003년 MPEG-4/AVC (H.264), 2013년 MPEG-H/HEVC (H.265)로…
Text-to-SQL: 자연어를 SQL로 변환
Text-to-SQL은 자연어를 SQL로 자동 변환하는 Task입니다. 하단에 공유한 글은 Microsoft 소속의 Aerin Kim이 작성한 글인데, Text-to-SQL에 대해서 잘 정리되어 있습니다.…
NVidia Ampere Architecture 소개
딥러닝 알고리즘을 학습할 때는 GPU가 필수적이라고 생각되지만, 모델 학습이 완료되고 난 후 서빙을 하는 경우에는 GPU 대신 CPU를 쓰는 경우가…
Speech2Face – 음성 신호로부터 얼굴 예측
MIT의 Speech2Face는 음성신호로부터 화자의 얼굴을 생성해내는 연구입니다. 다만 하나의 모델로 speech to face transform을 수행하는 것이 아니며, 다른 목적의 기존…
Google MixIT AI – 비지도 학습 음원 분리
Google이 공개한 MixIT AI는 복수개 음원이 믹싱된 싱글 채널 오디오로부터 분리된 음원을 얻는 기술입니다. Blind source separation task라고 볼 수…
알고리즘 혐오현상과 설명 가능한 AI
예측 분야에서, Algorithm Aversion(알고리즘 혐오)는 알고리즘이 실수할 수 있다는 것을 인지하게 되면 인간의 예측보다 우수하더라도 쓰지 않으려는 경향이 있다는 의미로…
Wav2Vec 2.0 공개 – 10분 음성으로 ASR 만들기
53,000시간의 라벨링 없는 데이터로 representation training을 한 후, 10분 분량의 라벨링 된 데이터만으로 음성인식기를 만들어낸다고 해서 화제가 되었던 Facebook의 wav2vec…
MIT DriveSeg – 도로 상황 인식 연구용 데이터
(자율주행차 등에 사용될) 도로 상황 인식 연구를 위해 만들어진 데이터셋 DriveSeg입니다. 동영상의 각 프레임에 대해, 이미지 전체를 pixel-by-pixel로 semantic labeling…
자율주행차 기술 소개 및 사회적 합의
조금 비약이 있기는 하지만 AI 알고리즘에 물리적 장치를 추가한 것을 지능형 로봇이라고 본다면, 아마도 향후 가장 많이 보급될 지능형 로봇은…
인간의 뇌 vs. AI – 하드웨어 비교
최근 트렌드 중 하나는 초거대 모델, 즉 파라미터의 수를 엄청나게 늘리고 기존 학습법을 적용하는 것입니다. 인간의 뇌가 보여주는 “소프트웨어적 능력”은…
기계독해 (MRC) Task와 Dataset 정리
현재까지 제안된 많은 MRC 모델들이 다양한 Task와 Dataset에서 인간의 능력을 넘어선 평가값을 보여주고 있지만, 주어진 context에 대해서 인간보다 더 잘…
IBM의 감성 로봇 Nao-mi
IBM의 감성 로봇 나오미(Nao-mi)에 대한 영상입니다. [내용 요약] 어렵게 쌓은 탑을 무너뜨리라고 요구하는 사람과 하기 싫다고 말하는 로봇. 계속적인 요구에…
선택이 아니라 필수가 되어가는 Transfer Learning
Few shot learning만으로 모든 자연어 task에 적용할 수 있는 가능성을 보여준 초대규모 언어 모델의 대명사 GPT-3의 학습 비용은 한화로 약…
First Order Motion Model for Image Animation
락스타에서 만든 2011년작인 LA 느와르는 다른 게임보다 훨씬 우월한 수준의 얼굴 애니메이션이 적용되어 많은 사람들을 놀라게 했습니다. 이때 사용된 기술은…
YouTube의 약진에 의한 지식 비색인화 현상
디지털화가 진행되고 인터넷, 웹이 등장하면서 지식은 전세계 서버에 분산되어 저장되었고 서로 연결되고 검색 가능하게 되어 접근성과 활용성이 비약적으로 발전합니다. 책을…
Facebook의 Codec Avatar
“Codec Avatar”라는 이름으로 진행되는 Facebook의 디지털 휴먼 프로젝트의 데모 영상이 공개되었습니다. 2019년 영상에 비해서 추가된 부분으로,아바타 외형이 좀 더 사실적으로…
GANimation – 이미지 한 장으로 표정을 만들어내는 연구
이미지 한장을 입력으로 얼굴 표정을 바꾸는 애니메이션을 만들어주는 기술인 GANimation의 코드 저장소입니다. 기본적으로는 conditional GAN인데, 얼굴의 해부학적 움직임을 기술하기 위한…
Virtual Human: Saya Project
일본의 Virtual Human Project인 Saya 프로젝트. 일본어로 되어 있어서 진척도를 전부 이해하지는 못했지만 비주얼적인 완성도는 상당히 높고, 표정도 자연스럽습니다. 향후…
Danbooru 2019 – 애니메이션 캐릭터 이미지 데이터
애니메이션 캐릭터 이미지 데이터베이스인 Danbooru 2019 버전 링크를 소개합니다. 약 3.7백만개의 이미지가 있고 이미지당 약 29개의 tag가 붙어 있습니다. Tag의…
Apple의 초고해상도 VR 헤드셋 (iGlass?)
Human-like AI를 탑재한 인간형 캐릭터의 완성도가 엄청나게 향상되었다고 가정해보면, 이를 컴퓨터나 스마트폰 스크린과 같은 2D 평면에 전시하고 마우스, 키보드, 터치로…
RAVDESS – 멀티모달 감성 데이터
인간의 감정 인지나 표현은 복합적인 것이 많은데 (예: 화내는 감정은 표정, 목소리, 언어에 모두 영향을 줌) 오디오-비디오가 함께 묶여 있으면서…
인간의 기억 특성별 신경망 기술
최근 재미있게 읽은 인간의 능력과 신경망의 관계에 대한 글입니다. 글에도 나오지만 인간의 뇌와 신경망의 동작 방식은 유사한 구석이 있지만 같을…
Candy Crush Saga를 위한 Human-Like Testing
유명 게임 회사인 King의 캔디크러시사가는 수 많은 레벨로 구성되어 있는 퍼즐 게임입니다. 2018년 데이터이긴 하지만 매주 약 15개의 레벨을 추가한다고…
Replika: Emotional Chatbot
AI 챗봇이 주로 하는 일은 상품 정보 설명, 스케줄 알려주기, 날씨 확인 등 질의 응답이라고 할 수 있습니다. 아마도 이러한…
Future of Synthetic Media (Synthesia)
“Synthetic media”라는 워딩으로 AI 기술을 미디어 마케팅에 적용하고 있는 Synthesia 블로그의 글입니다. 이 회사가 주로 하는 분야는 동영상내 모델의 얼굴…
Rosebud.AI의 가상 모델 합성 기술
Rosebud.ai(https://rosebud.ai/)는 마케팅 캠페인을 위해 만들어진 이미지에 가상의 모델 얼굴을 생성하여 합성하는 기술로 마케팅 시장을 타게팅하고 있습니다. 만들어진 결과물은 꽤 자연스럽고,…
Roblox가 Bert를 최적화하는 방법
대다수의 챗봇 시스템은 아직도 규칙 기반으로 동작하지만, 자연스러운 대화를 구현하기 위해서는 결국 BERT 등 더 복잡한 언어 모델들을 사용해야 합니다.…
TikTok의 Comic Filter
TikTok이 사람 얼굴을 애니메이션 캐릭터로 실시간 변환해주는 필터를 추가했습니다. Selfie2Anime도 그렇고 김준호님이 만든 UGatIT도 그렇고 참고할 결과들이 있긴 하지만 TikTok의…
