OpenAI News·· 2021-01-25AI 评分12
OpenAI 将 Kubernetes 集群扩展至 7,500 节点,支撑 GPT-3 等大模型训练与迭代研究
Scaling Kubernetes to 7,500 nodes
AI 导读
OpenAI 已将 Kubernetes 集群规模扩展至 7,500 节点,为 GPT-3、CLIP 和 DALL·E 等大模型提供可扩展基础设施,同时支持 Scaling Laws for Neural Language Models 一类的小规模迭代研究。集群达到 7,500 节点量级,可同时支撑大规模训练与频繁的小规模实验。
来源:OpenAI News · openai.com