一次 3ms 电压暂降如何演变为 Google Cloud 欧洲区数据中心 14 小时 55 分钟服务中断

原创 杜柯 2026-09-13 18:31 黑龙江

一、 Incident Report Summary（事故报告摘要）

On Wednesday, 15 July 2026, Google Cloud VMware Engine (GCVE), Bare Metal Solution (BMS), and Google Cloud NetApp Volumes (GCNV) experienced service interruptions for a total duration of 14 hours, 55 minutes.

2026年7月15日星期三，Google Cloud VMware Engine（GCVE）、Bare Metal Solution（BMS）以及Google Cloud NetApp Volumes（GCNV）服务中断共计14小时55分钟。

The root causefor this outage is a 3ms voltage drop in the power feed from the utility provider and subsequent utility breaker protective action.This incident was mitigated by the data center provider rectifying the failed systems followed by the Google engineering team restoring the services.

此次中断的根本原因是外市电供电线路出现3毫秒电压下降，随后导致市电输入断路器触发保护动作。该事故在数据中心服务商修复故障系统后，由谷歌工程团队恢复服务得以缓解。

二、 Root Cause（根本原因）

A regional data center hosting services in europe-west4-a experienced anupstream voltage transient affecting both utility power feeds A and B. Duringthis event, the utility breakers on both A and B feeds tripped and initiated thetransfer tothe back-up power source DRUPS (Diesel Rotary UninterruptiblePower Supply). The transition of side B to DRUPS system was successfulwithout any power interruption. The DRUPS back-up power system for side Afailed to take over the facility load due to electrical component failures.

位于欧洲西部4区A（Europe-west4-a）的一个提供托管服务的区域数据中心在运行过程中，市电电网的电压发生突变影响数据中心A和B两路市电电源。在此期间，A和B路市电电源上的断路器均发生跳闸，并启动备用电源DRUPS（柴油旋转式不间断电源）的切换操作。B区成功切换至DRUPS系统，未造成电力中断。然而，由于电气元件发生故障，A区的DRUPS备用电源系统切换失败，未能承担础设施的负载运行。

The DRUPS failure to take over load initiated automatic transfer of the affected3 rows from feed A to redundant power feed B. Rows 1 and 2 transferred to power feed B successfully. Row 3 failed to transfer to power feed B andexperienced complete power loss due to an overload protection breaker trip.

由于DRUPS未能成功带载，导致受影响的3列机柜A路电源供电中断，自动切换至B路电源供电。其中第1列和第2列的机柜成功切换至B路电源，但第3列机柜因对应的断路器过载保护跳闸，而无法切换至B路电源运行，造成第3列机柜供电全部中断。

The root causeof the failed transfer on the affected row was identified as loaddeployment discrepancy which is under further investigation by Googleengineering team. This resulted in loss of both redundant power feeds to thesingle row.

受影响机柜业务迁移失败的根本原因是负载部署不一均衡，导致单列机柜的冗余电源供电中断，目前谷歌工程团队正在进一步调查该问题。

During the voltage transient event, the server data hall experienced anincreased temperature due to a cooling system failure. The chiller controllerdropped offline during the voltage transient event, failing to signal the chilledwater distribution pumps to restart and ultimately causing the chiller system Ato shut down. The redundant source was not available due to known ongoingconstruction work at the facility. This resulted in the data hall temperaturesreaching 44°C and subsequent shutdown of the affected data hall machines. Google engineering teamsinitiated machine shutdown procedures for theremainder of reachable devices as part of the cooling emergency shutdownprocess.

在电压突变期间，由于冷却系统故障，造成服务器机房的温度上升。因冷水机组控制器意外掉线，未能向冷冻水泵发出重启信号，最终导致冷水机组A停机。由于基础设施正在进行变更（施工作业），造成备用冷源无法使用。因此导致机房温度升至44°C，受影响的机房设备随后全部宕机。谷歌工程团队随即启动紧急停机程序（冷却系统故障），对剩余可访问IT设备实施停机操作。

三、 A timeline of events during the incident is provided below. （以下是事故发生期间的时间线）

一、 Incident Remediation（故障恢复）

Google engineers were alerted to the infrastructure power loss on Wednesday,15 July 2026 at 16:30 US/Pacific and subsequent increase in data halltemperatures at 17:44 US/Pacific via ourautomated monitoring and telemetry, and immediately began investigating.

谷歌工程师于2026年7月15日（星期三）美国太平洋时间16：30收到基础设施断电警报，并于太平洋时间17：44通过自动化监控和遥测系统收到数据中心机房温度随后升高的警报，随即立即展开调查。

During the voltage transient event, the chillers maintained power but shutdown because the distribution pumps failed to restart, resulting in no waterflow. The pumps were manually switched from auto to hand mode to restorecirculation and cooling. The facility team deployed an interim portable UPS to support the chiller controllers and prevent localized controller power loss.

在电压发生瞬变期间，冷水机组保持正常供电，但由于冷冻水泵未能重新启动成功，而导致水流中断，冷水机组停机。工作人员手动将水泵从自动模式切换为手动模式，以恢复循环和冷却。设施团队部署了一台临时便携式UPS，为冷水机组控制器供电，防止本地控制器断电。

Upon confirmation of utility power restoration, the facility returned to utility power via automatic switching with the exception of two RemotePower Panels (RPPs), which required manual verification before restoration of power toaffected server row. To provide full resiliency the facility team aligned a swingDRUPS unit to restore the redundant configuration on the A feed and is working on repairing the faulty DRUPS.

在确认市电恢复后，基础设施通过自动切换恢复至市电供电，但有两个配电盘（RPPs）除外，这两个配电盘需要手动验证后，才能恢复对受影响服务器列的供电。为实现完整冗余，基础设施团队调配了一台备用DRUPS机组，以恢复A路馈线的冗余配置，并正在修复故障的DRUPS。

To remediate the power loss at Row 3, once the electrical fault was confirmedto be fully isolated, teams reset the tripped breakers, successfully restoringredundant power to the impacted server racks.

为解决第3列机柜的断电问题，在确认电气故障已完成隔离后，团队复位了跳闸的断路器，成功恢复了受影响的服务器机架的双路冗余供电。

二、 事故原因的解析

5.1数据中心的地理位置：

该数据中心位于荷兰东北部的格罗宁根省埃姆斯哈文港口城市（Eemshaven）。

5.2数据中心所在区域的气候条件

1)历史平均气温（7月）：根据1991年至2021年的气候数据，Eemshaven在7月的平均气温为17.7°C，历史平均最高气温约为20.5°C；根据对2022年至2026年历史气象数据的分析，该地区7月份的平均最低气温趋势约为13.8°C。

2)2026年7月16日Eemshaven附近（Hoogeveen）的天气为多云转小雨，气温26℃/15℃，风力小于3级。当天整体温差较大，白天最高26℃、夜间最低15℃。

5.3DRUPS（柴油旋转式不间断电源）

DRUPS是集飞轮储能、柴油发电机和旋转电机于一体的大型不间断电源系统，单机功率可达250-3600 kVA。当市电中断时，飞轮旋转储存的动能会立即释放，为负载提供不间断的电力，缓冲时间通常在15秒到60秒之间。

5.4事故分析示意图

5.1事故原因的分析

1)电网故障：数据中心上游的市电电网发生电气故障造成电压瞬变和内部配电设备故障，并导致冷却系统控制器掉线。故障恢复耗时：5小时22分（16:24 至21:46）。

2)温度飙升：冷却失效导致数据中心机房的温度在约两小时内攀升至44°C，突破了硬件的安全运行阈值。故障恢复耗时：5小时02分（16:24 至21:24）。

3)保护性关机：为防止硬件因高温损坏，谷歌工程团队启动了紧急流程，主动关闭了受影响机房内的服务器、存储集群和网络交换机。

一、 本次事故的启示

综上所述，此次事故的原因看似简单，因市电电网的电力故障引发的连锁冷却系统失效；但实际是由设计缺陷，流程管理，维护管理，风险管理和人员能力等多种因素连锁反应的结果。详情见下图：

一、 国内类似案例

两家银行机构租赁同一家数据中心。事发时，该数据中心两路外市电电压同时骤降近50%，持续数秒，因其10KV配电柜综合保护设置了低电压保护，导致两路共计32个10KV配电柜全部分闸，UPS启动放电，银行机构未第一时间获悉相关情况。此后，该数据中心运维人员因故障排查定位、穿戴防护装具、配电柜位置分散等原因，合闸操作处置不及时，部分机柜在UPS蓄电池电量耗尽时仍未完成合闸，且该数据中心配备的柴油发电机输出电路进线点位于10KV配电柜上端，因此未能应急供电，最终造成数据中心部分机柜IT设备失电宕机，引发中国人民银行业务领域网络安全事件。

二、 运维工作无小事

8.1故障的连锁反应

数据中心是一个高度耦合的系统。看似微小的异常，例如一个控制器指示灯闪烁异常、一根网线水晶头松动、空调出风口温度高了0.5℃等，如果被忽视，可能触发连锁反应。空间、电力、制冷、网络、服务器任何一环出问题，都可能导致大面积业务中断。

8.2海恩法则的体现

海恩法则：每一起严重事故的背后，必然有29次轻微事故、300起未遂先兆和1000起事故隐患。数据中心运维工作正是如此，那些“小事”往往就是重大故障的前兆。严谨的运维体系要求对每一个告警、每一次巡检异常都追根究底。

8.3冗余不等于绝对安全

数据中心设计时要求N+1、2N等冗余，但冗余只应对单点故障。如果运维中把“小事”不当回事，例如发电机长期不测试、UPS不放电测试、UPS电池老化不更换、消防系统误报被简单屏蔽等，冗余就会形同虚设。数据中心的冗余是设计出来的，但可靠性是运维人员用责任心一点点守出来的；真正的安全保障，是运维人对工作细节的持续敬畏。

8.4运维的文化属性

“无小事”本质上是一种文化。

1)标准化：每一步操作都有SOP，不凭经验拍脑袋；

2)可追溯：变更、巡检、缺陷和告警的处理全部留痕；

3)闭环：发现问题→处理问题→复盘消化→工作改进，不遗漏；

4)敬畏心：再熟练也不简化标准流程，再小的故障或变更也必须走审批。

8.5对从业者的意义

对一线运维人员来说，这句话既是压力也是责任，更是职业尊严。它意味着每一次巡检、每一次维护、每一次记录，都在守护背后千万用户的业务连续性。把数据中心的运维流程制度切实落地和执行，把运维工作中的小事做到极致，就是专业本身。

“运维工作无小事”，往往说起来容易做起来难；在此与各位共勉之：知是行之始，行是知之成。

三、 其他说明

1)本文内容仅代表个人观点和建议，如有谬误和不当之处，敬请指正。

2)国内类似案例，来源于中国人民银行深圳市分行科技处在2026年1月所发《关于数据中心供电中断引发网络安全事件的风险提示函》。

3)本文中所使用的英文资料，来源于官方披露的事故报告《Incident details _ Google Cloud Service Health》。

跳转微信打开