OpenAI 研究：梯度噪声尺度如何预测 AI 训练的可并行性

OpenAI 研究发现，梯度噪声尺度这一统计指标可预测神经网络训练在多种任务上的并行化潜力。复杂任务的梯度噪声更大，未来可使用更大的批量规模，从而解除制约 AI 系统进一步扩展的限制。研究表明，神经网络训练可以摆脱"神秘艺术"的标签，被严格化和系统化。