预训练

在自然语言处理领域中，预训练语言模型（Pre-trained Language Models）已成为非常重要的基础技术。 我们将在本章节介绍EduNLP中预训练工具：

• 如何从零开始用一份语料训练得到一个预训练模型

• 如何加载预训练模型

• 公开的预训练模型

训练模型

装载模型

公开模型一览