夏季服务器运维：我踩过的坑和一份巡检清单

去年七月的一个周二下午，手机在十分钟里弹了三十多条告警。我冲到机房，机柜进风温度已经从24度爬到41度，一台存储的硬盘掉线，RAID开始降级，业务接口超时率从0.1%涨到7%。查到最后原因很土：楼顶的空调外机被太阳直晒了一整天，冷凝器高压保护，直接停机了。抢修花了三个多小时，业务恢复了，但那天晚上的复盘会开到十一点。

这事之后我养成了一个习惯，每年五月就把夏季运维方案过一遍。夏季和别的季节最大的区别在于，机房的热负荷在涨，而散热能力在掉。室外35度的时候，空调的制冷量大概要打七八折，外机如果被晒、被堵、散热片积灰，效率还得再降。一升一降，中间那点余量很快就被吃掉了。很多机房平时看着挺宽裕，一到三伏天就露馅。

温度不是唯一指标，湿度也得盯

我见过不少同行只盯温度，其实湿度出问题的概率一点不低。湿度低于30%，人走动、插拔板卡产生的静电能把网卡和内存打坏，而且这种故障往往过几天才发作，很难追责。湿度高于70%，机柜里容易结露，尤其是空调出风口正对的位置，时间长了板卡上能看到水痕。我的经验是把机房湿度控制在40%到60%之间，这个区间基本不用太操心。

温度阈值我建议分两级。一级告警设在27度，这时候只是提醒，去看看空调和外机；二级设在30度，必须有人到现场。别等到45度才报，那时候硬盘已经在掉线边缘了。冷通道进风温度按ASHRAE的建议是18到27度，实际跑下来，22到24度最省心，既不至于让空调满负荷运转，也给故障留了缓冲时间。

电力、雷击、灰尘这三件事最容易翻车

夏天是用电高峰，市电波动和跳闸的概率明显上升，加上雷雨天气，这几块的检查不能省。我整理了一份自己每年六月都会走一遍的清单，你可以照着改：

• UPS电池：环境温度每升高10度，铅酸电池寿命差不多减半。电池间尽量控在25度以内，顺便测一遍单节电压和内阻，鼓包的直接换。
• 防雷接地：雷雨季前查SPD有没有失效指示，接地电阻控制在4欧以内，机柜等电位连接线别漏接。
• 灰尘清理：服务器风扇、防尘网、空调滤网一起洗。我做过对比，同一批机器清灰前后，CPU满载温度差了8到12度。
• 柴发和双路市电：柴油发电机每月空载试机一次，油箱别加太满，夏天油品膨胀会溢。
• 空调外机：清洗冷凝器翅片，检查制冷剂压力，有条件给外机加个遮阳棚，别让太阳直晒。

还有两个小细节，平时没人注意，出事的时候很要命。一是空调冷凝水管，夏天冷凝水量是平时的两三倍，管子老化或者排水口堵了，水会顺着墙流到机柜顶上。二是临时风扇和移动空调，真到紧急降温的时候能救场，但别对着机柜直吹，温差太大反而容易结露。

最后说一个调度上的经验。批量备份、数据迁移、压测这类吃CPU的活儿，尽量排到凌晨两三点。那时候室外温度最低，空调余量最足，机房温度能比下午低四五度。同样的任务放下午做，很可能就把机柜推过警戒线了。夏季运维说到底就是提前把余量找出来，别等告警响了才去楼顶看外机。