倒霉的一天,忆数据库丢失的日子里

2019年6月10日,
这一天,注定是一个不平凡的日子,因为还有两天就是我的生日。
没想到就在这天发生了每个运维都不愿意见到的事情,数据库丢失,这真是老天送给我最恶毒的生日礼物了!
数据库丢失这件事情对于我来说犹如晴天霹雳。
下面就先简述一下事情发生的经过吧!
这一切的源头都在于本人经验不足、管理混乱。

  • 2019年6月10日-11日

    • 23:40 使用SSH登录到WEB服务器执行update
    • 00:06 网站监控发出报警 今夜注定无眠
    • 00:15 检查网络链接并排除网络故障
    • 00:20 网站依旧无法访问,怀疑服务器故障SSH登录服务器检查文件,发现数据库丢失
    • 00:30 从backup下载备份文件
    • 00:35 进入AMH面板失败 这可能是由于面板数据库也一并丢失但编译的环境还在
    • 00:35 进入虚拟机控制台执行快照滚回操作
    • 00:40 联系公司CIO汇报事故
    • 01:00 面板安装完毕后上传备份文件进行数据还原
    • 01:45 三次数据还原失败 (怀疑备份压缩包损坏),从还原日志中发现部分文件夹有这样的提示 No such file or directory
    • 02:00 从本地找到17年的备份文件
    • 02:10 由于17年的版本为5.3故无法在当前5.5版本中还原
    • 02:30 尝试手工还原
    • 03:00 网站上线,报警解除,但数据停留在2017年,损失了一年半的数据
    • 09:00 - 11:00 经过和公司其他同事的交流和CIO的许可决定找第三方公司进行数据恢复
    • 12:30 - 13:00 关闭服务器上其他正常运行的虚拟机后关闭服务器取出硬盘(两块硬盘做了RAID1)
    • 13:00 - 23:30 从拼接的虚拟磁盘快照和损坏的备份压缩包里恢复了80%的网站源码和90%数据库,这里得要感谢一下北京安数云和科技有限公司的郭工。因为数据丢失导致我整个人精神萎靡不振,郭工在整个数据恢复过程中不断给我希望鼓励我振作。
  • 2019年6月12日

    • 01:00 生日当天凌晨1点,郭工在微信上答复我数据基本上恢复完成。虽然不能100%还原到原始状态,但是只要有数据库一切都好解决了,终于可以踏踏实实的睡上一觉了
    • 08:00 - 12:00 使用郭工找回的数据文件和网站源码重新还原网站并恢复数据到6月10日下午

一颗悬着的心终于落地了。
以后还是每天踏踏实实的备份吧,而且要备份到异地,并且还要每个月对备份文件进行还原和完整性校验。
我的小心脏再也经不起折腾了,
数据库丢了一天 我的魂儿也丢了一天!!!
总结:
失去 -8000元(数据恢复服务费,公司报销)
得到 零散的网站源码和数据库
得到 公司记过一次的处罚通知
得到 运维经验若干

Last modification:June 26th, 2019 at 07:40 pm
如果觉得我的文章对你有用,请随意赞赏

Leave a Comment