EleutherAI/pythia-70m

EleutherAI/pythia-70m” 是由 EleutherAI 开辟的一个小型开源语言模型，它是 Pythia Scaling Suite 系列中参数目最小的模型，拥有大约 7000 万个参数。这个模型重要旨在促进对语言模型可解释性的研究；
Pythia Scaling Suite是为促进可解释性研究而开辟的模型集合（见论文）。它包含两组八个模型，大小分别为 70M、160M、410M、1B、1.4B、2.8B、6.9B 和 12B。对于每种尺寸，都有两个模型：一个在 Pile 上训练，一个在数据集全局去重后在 Pile 上训练。所有 8 种模型大小都以完全雷同的顺序在完全雷同的数据上进行训练。我们还为每个模型提供 154 个中心查抄点，作为分支托管在 Hugging Face 上。
Pythia 模型套件的计划初衷是促进大型语言模型的科学研究，尤其是可解释性研究。尽管没有将下游性能作为计划目的，但我们发现这些模型的性能与类似和雷同大小的模型相称或凌驾它们，比方 OPT 和 GPT-Neo 套件中的模型。

【1】https://github.com/EleutherAI/pythia 
【2】https://huggingface.co/EleutherAI/pythia-70m

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。