소 잡는 칼로 닭 잘 잡아보기
[가상인간연구팀 전동준] 언어 모델(Language Model, LM)은 단어나 문장을 확률적으로 예측하는 모델입니다. 통계적으로 다음에 등장할 단어들을 모델링하는 전통적인 방식에서 최근에는 딥러닝 기반의 언어 모델들이 많이 연구되고 있습니다. BERT, GPT-3 같은 많은…
현자의 돌
[융합연구팀 김무성] 최근 스탠포드의 연구자들이 “On the Opportunities and Risks of Foundation Models”라는 논문을 냈습니다 [1]. 여기서 Foundation Model이란 GPT-3와 같은 대규모 데이터로 사전학습된, 전이학습이 일어나는 딥러닝 모델을 말합니다. 자연어처리…
指令调优 – FLAN
【Convergence Research Team Shim Hongmae Shim】如果要选出2020年NLP领域的前10个关键词，当然是GPT-3（Language Models are few shot Learners）排名。时至今日，GPT-3庞大的参数量和出色的性能仍然在NLP领域......
Copilot，帮助编码的人工智能
【前期研究团队Seonghyun Kim】在自然语言中引起极大轰动的因果语言模型（例如GPT-3），现在已经被应用到自然语言之外的编程语言！ 🤗 去年六月，Github 和 OpenAI 联合开发的 Copilot 发布了。Copilot 就像自然语言中的 GPT-3，给定代码……
基于GPT-3的游戏NPC演示
将10年前的游戏与当前的游戏进行比较，存在很多差异，尤其是在图形方面。例如4K或更高分辨率，复杂的图形纹理，自然的3D模型动画，物理引擎，光引擎等。
GPT-新开源GPT-3项目
OpenAI的GPT-3是一种大型语言模型，参数计数高达175B。尽管GPT-3取得了令人惊讶的结果，但它不是开源的，因此，如果您要尝试它，可以尝试AI Dungeon（https://play.aidungeon.io/main/landing）或Philosopher AI（https：/ /philosopherai.com/）。）通过诸如...的网站
OpenAI DALL-E：从文本创建图像
OpenAI发行的DALL-E是一种可以从自然语言文本生成图像的技术。以前，存在用于相同目的的技术，例如StackGAN和OP-GAN，但DALL-E的优势在于最终结果的质量非常出色，因为它是基于GPT-3（一种超大规模语言模型）制成的。
BERTology能听懂语言吗？
以BERT为代表的基于深度学习的大规模语言模型在与自然语言相关的各种任务中表现出优异的性能，例如问答，文档摘要，文档生成和对话，特别是最近出现的GPT-3是一种人工通用情报（AGI）。
GPT-3示例和minGPT项目
在日常对话研究中脱颖而出的Scatterlab（https://scatterlab.co.kr/）是Ping-Pong团队博客上的一篇文章，我分享了它，因为它似乎与GPT-3案例的故事井井有条。我仍然将GPT-3视为“疑惑之眼”，但是当我再次看到它时，这很好奇...
