记录一次公司生产服务器被前端程序猿 rm -rf /的血泪恢复史

就在一个阳光明媚 鸟语花香的清晨我高兴的起床上班,上班的路上车里放着很土嗨的JD舞曲,我跟着音乐摇头晃脑的经过两个红绿灯后, 到达了公司心情美美的吃了早餐,吃完早餐我闲的无聊就去服务器看了一眼。

正当我无聊的点击这服务器的文件夹目录时,我瞟了一眼服务器上Nginx的目录 我进去一看 卧槽咋啥都没了,然后我接着有看了网站的运行目录 我的天哪,我的Nginx tomcat ES redis node 啥玩意都没了,我当时以为我眼睛花了 没有在意 我又眨了眨眼睛 卧槽!!还是没有。

我开始慌了 冷汗直冒 后来去了服务器内看命令历史才知道 是我们的憨憨前端程序往服务器内上传代码时,一个目录删除不掉就从网上复制了 rm -rf 强制删除命令 少写了一级目录 将整个网站目录删除了 大写的我曹。

此时好在网站没有崩溃 幸好是在Tomcat和nginx等服务器都在运行的情况下删除的 程序进程并没有停止。

此时此刻的我慌得一批 因为Nginx内的各种合作方网关配置路由啥都没了,。 重新安装肯定要一个一个调试 不知要猴年马月.

还有ES内几个G的小说内容啥的都没了.

不过好在这几个G的数据我数据库内还有 本地切个配置到数据库内读取就行了。

此时我悄悄摸摸的给在外跟女朋友玩耍的领导打了电话 跟他说了服务器被 rm -rf 了 他听说了也是一个大写的我曹。

问我怎么办? 我说我一个一个恢复配置这个说不准 2天都是有可能,因为我们有非常多的网关路由配置都没备份需要一个一个恢复,不是短时间内能完成的 还有网站保存在ES和txt内的小说静态文件........

于是我们做好最坏的打算以后 新买了一台服务器进行配置 希望我们在新的服务器配置好之前 服务器不会应用Tomcat和nginx 配置文件被删除 导致日志找不到存储路径 而纯在内存中导致服务器CPU爆满而崩溃.

说干就干 在跟公司老板说明情况 经过一轮暴走后 开始让我恢复数据。

由于本人没有啥恢复经验显得束手无策 开始疯狂的百度 当我正在新买的服务器上一个一个安装尝试的时候 一个不好的消息发生了 挖槽线上的网站终于挂了.

具体原因不详 CPU爆满 本人猜测肯定是应为触动了Tomcat的连接资源回收器时 Tomcat会读取配置文件内的GC回收配置 

但是配置文件早已被删除了读取不到导致的崩溃.

顿时公司网站凉凉 一堆用户和作者反馈(我们是一家小说网站) 此时没有别的办法 公司只能紧急发表了网站维护的公告.

然后老板急急忙忙的跑过来问多久能恢复.我说能不能恢复不好说 能的话最起码也要明天. 因为其中的复杂操作他根本不清楚.

然后着急的下达了指令要我晚上八点必须恢复.

我:.............................

没有办法天将大任 我只能硬着头皮上了...... 心里大写的MMP 显然我又成了背锅侠 哈哈哈哈哈

此时已经下午一点了......别问我中间在干嘛 中间在新的服务器部署各种环境加百度

由于网站已经挂了只能在原来的生产服务器上恢复数据了。

我开始查各种资料和尝试.......

在我尝试的时候发生了一件把我气得灵魂出窍的事......

删除我们服务器文件的憨憨前端竟然在跟旁边的IOS哥们有趣的开着 某某公司程序删库跑路的段子 笑的那是一个开心啊 我特么当时已经急的要死了.....他竟然没有丝毫的愧疚感 还在笑的跟花一样........

心累!!!!!

最终我找到了个靠谱的方案 先将磁盘设置为可读 然后将挂载取消 防止新的数据写入被覆盖......

然后使用 extundelete /devdb --inode 2 这个软件进行扫描恢复  扫描完成后惊喜的发现 重要的 Nginx网关配置的文件找到了 其他一些文件恢复了也打不开 文件被破坏了 。

最重要的一份文件还好没被覆盖 哈哈哈哈

然后中间历经了很多困难和各种报错 重要网站成功部署 就差ES和Txt文章文件从Mysql内重新同步恢复恢复了。

extundelete  只能找回小文件哦 所以删除的几个G的小说内容文件根本找不回    还好咱当时聪明做了三备份即 TXT文件文件存储 ES存储  Mysql存储  哈哈哈  

现在只需要将Mysql的小说章节内容重新同步到ES和服务器的TXT内就大功告成,

于是 我又花时间用了三个小时写了个同步脚本将数据完美同步......

经历过 几个小时的奋战后背已经湿了 在所有事情搞定完成之后无力的躺在椅子上 长叹一口气!感叹到!啊 我真牛逼!

希望各位同行一定要将服务器权限设置好不能让前端以及无关人员接触到.......很深刻的教训.

然后在我们前端憨憨发了个朋友圈以后我也跟着发了一个朋友圈 哈哈哈哈!

那种巨大压力过来->绝望->强行静下来想办法->不断尝试->有可行办法,上测试->测试通过精神高度集中开始解决->解决完成长舒口气,劫后余生

发布了112 篇原创文章 · 获赞 266 · 访问量 26万+

猜你喜欢

转载自blog.csdn.net/fujiakai/article/details/103045845