word2vec 究竟在学什么？新论文给出可预测的定量理论

Berkeley AI Research 的新论文证明，在现实可行的参数设定下，word2vec 的训练过程等价于对特定目标矩阵做无加权最小二乘矩阵分解，其最终学到的词嵌入可由 PCA 直接给出。