利用无监督学习提升语言理解：OpenAI 发布基于 Transformer 的无监督预训练系统

OpenAI 发布了一套结合 Transformer 与无监督预训练的可扩展、任务无关系统，在多项语言任务上取得当前最优结果。该方法将监督学习与无监督预训练相结合，验证了二者搭配的有效性。研究表明，将这一思路应用于更大、更多样的数据集有望推动后续研究。