z35资讯网 · 资讯快报
快报 · 一手资讯即时送达
实时快报

运维五年踩过的坑:8个服务器运维实用技巧

运维五年踩过的坑:8个服务器运维实用技巧-东莞z35资讯网

产品中心 2026-11-16 04:33:01 阅读

我手上长期管着二十来台机器,有云主机也有托管在老机房的物理机。刚接手那会儿,出问题第一反应就是重启,重启完表面好了,过两天同样的问题再来一次。后来慢慢养成习惯:先看再动,先留证据再改配置。这几年攒下来的服务器运维实用技巧不算高深,但每一条都是被事故教出来的。

出问题先别急着重启

重启是最容易上瘾的操作,服务卡了就 restart,机器慢了就 reboot。问题是重启会把现场清掉,你永远不知道根因在哪。我现在的顺序是先敲三条命令:uptime看负载和运行时长,dmesg -T | tail -50看内核有没有报 OOM 或者磁盘错误,再翻一眼服务自己的日志。有一次一台机器每两天挂一次,看 dmesg 发现是内核 OOM killer 干掉了 Java 进程,堆内存设得比物理内存还大,白重启了半个月。

运维五年踩过的坑:8个服务器运维实用技巧

监控这块我的要求很低:CPU、内存、磁盘、网络四样有曲线,磁盘单独设 80% 告警,进程挂了能钉钉或者微信推一条。别一上来就上全家桶,Prometheus 加 node_exporter 够用了,五分钟能跑起来。

运维五年踩过的坑:8个服务器运维实用技巧

几个能省下半夜的实操习惯

  • 动配置之前先 cp 文件名 文件名.bak.日期,别信自己的记性。我改 sshd 配置改崩过一次,靠备份两分钟就恢复了。
  • 长任务一律扔进 tmux 或者 nohup,SSH 断线数据同步跑到一半断掉,这种事很常见。
  • cron 任务前面加 flock -n,防止上一次还没跑完下一次又起来,数据库备份叠三层把磁盘写炸过。
  • 日志别只靠手工删,配 logrotate,按大小和天数双条件轮转。半夜磁盘满,八成是日志没管住。
  • 新机器上线先做时间同步和内核参数调优,chronyd没起来的话,你后面排查日志时间对不上会疯。

运维五年踩过的坑:8个服务器运维实用技巧

一个查了两小时的假磁盘满

讲个具体案例。有台数据库机器报警磁盘 100%,df -h显示根分区满了,但 du -sh /*一层层算下来只有 30 多 G,分区是 100G。差在哪?最后用 lsof | grep deleted找到答案:一个大日志文件被 rm 掉了,但写它的进程还活着,句柄没释放,空间就一直被占着。解决方法是重启那个进程,或者 : >/proc/pid/fd/xxx把句柄截断。

还有一种情况是 inode 用满,df -i一看 100%,但空间还剩一大半。多半是某个目录底下堆了几十万个小文件,比如 session 文件或者临时缓存。这种时候删文件比扩磁盘管用。

说到底,服务器运维实用技巧听着零散,核心就三条:动手前留备份,出事前有监控,出事时留现场。工具会换,命令会忘,这个顺序别乱。

相关阅读

更多 ›