OpenAI的GPT-3是一种大型语言模型，参数计数高达175B。尽管GPT-3显示了惊人的结果，但它不是开源的，因此，如果您要尝试，可以使用AI Dungeon（https://play.aidungeon.io/main/landing或哲学家AI（https://philosopherai.com/）。此外，由于与Microsoft达成独家许可协议，很有可能在将来付款。
非营利性开源研究组织Eleuther AI发布的GPT-Neo是使用GPT-3的结构学习的一种大型语言模型，还发布了数据集和预先训练的模型。以下是指向GPT-Neo和Pipele的github存储库的链接：
GPT-Neo基于网格张量流，大型并行学习库创建，并公开了具有1.3B参数的模型和具有2.7B参数的模型的预训练模型。此外，GPT-Neo已添加到HuggingFace中，使其易于使用。以下是HuggingFace的GPT-Neo链接，并提供了其他具有125M和350M参数的型号：四种型号的GPT-Neo 125M，GPT-Neo 350M，GPT-Neo 1.3B和GPT-Neo 2.7B，您可以尝试一下。
同时，Eleuther AI也正在开发GPT-Neo的后续项目GPT-NeoX。与基于网格张量流的GPT-Neo不同，GPT-NeoX具有NVidia威震天和DeepSpeed（https://smilegate.ai/2021/01/27/deepspeed-fairscale/）并将代码库移至pytorch而不是tensorflow。根据Eleuther AI的说法，我们计划最终训练出一个模型，该模型具有许多与GPT-3 175B相似的参数，因此，有望进行各种其他分析和应用。这是GPT-NeoX的github存储库的链接。
