使用美团mysql “闪回” flashback工具,找回误删的数据

工作中有时候可能不小心会误删数据库的东西,一旦这些发生在线上数据库的时候,可能会产生重大(事故)怎么快速恢复,是检验运维水平的水准重要依据。 2.Parameter explantion 下面的这些参数...

工作中有时候可能不小心会误删数据库的东西,一旦这些发生在线上数据库的时候,可能会产生重大(事故)怎么快速恢复,是检验运维水平的水准重要依据。

今天开发没有加条件的update了一个表的两个字段,造成紧急(事故)

本想通过mysqlbinlog 加了-B的补丁来恢复,单折腾了几个小时,这个东西总感觉会出现莫名其妙的问题,并且一些过滤条件也成问题,算是彻底抛弃这个工具了。

还好以前静态编译过一个美团开源的flash 工具,下载下来直接copy到数据库上运行就可以工作了。

下载链接为:https://wenda.zuncuang.com/article/239

把mysql-binlog还原承文本 :mysqlbinlog --base64-output=DECODE-ROWS  -vvv  mysql-bin.000010  >a.txt

首先个根据--start-position 和--stop-position过滤出开始位置和停止位置,还可以加上

--databaseNames             

  --tableNames    

来过滤库和表,至于怎么快速找到“开始位置”和“结束位置” 我这里再举例说明下:

首先使用 UPDATE `hehezp`.`ims_ewei_shop_creditshop_log` 来搜索更新位置:一般不加条件的更新都会出现

attachments-2018-08-Q66cAati5b7c207bdf384.png

很多的table id 。。。。。。。

这个界面下面的符合条件的第一条就是最开始的update。。。然后向上搜索BEGIN 关键字,COMMIT/*!*/;  下面的的一个位置就是:--start-position

attachments-2018-08-S4NSli7s5b7c21e9e8a8e.png

attachments-2018-08-n7h6d8NL5b7c224a3b0db.png

然后向下搜索COMMIT关键字,

attachments-2018-08-xSiAxZRn5b7c248103cb6.png

这里的stop-position 是:780112298 其实 COMMIT前面的那个position也是可以的,只是那个position还没有“提交”


错误update的起始位置和结束位置确定后,我们可以使用:

/root/flashback --binlogFileNames=/webdata/opt/local/mysql/binlog/master-bin.000967  --start-position=779429295 --stop-position=780112224      来产生一个闪回后的“二进制”文件 默认文件名为:binlog_output_base.flashback

然后通过mysqlbinlog工具对这个二进制文件进行解码为文本文件并恢复:mysqlbinlog  binlog_output_base.flashback |mysql -u root -p -S /webdata/opt/local/mysql/misc/mysql.sock


备注:通过打过-B补丁的mysqlbinlog 恢复出来的文件在应用的时候一直没有效果,比如:

/root/mysqlbinlog -B  --skip-gtids  --start-position=779429295 --stop-position=780112224  /webdata/opt/local/mysql/binlog/master-bin.000967 (作废)

其实这个文件产生的闪回文本文件和先通过flashback产生二进制文件,然后通过mysqlbinlog工具解码产生的文件比较后发现很多地方是不一样的,具体原因不详细,以后涉及mysqlbinlog的闪回,优先还是考虑美团的:flashback吧,

下面是flashback的具体应用。



2.Parameter explantion

下面的这些参数是可以任意组合的。

  • 1.databaseNames

    指定需要回滚的数据库名。多个数据库可以用“,”隔开。如果不指定该参数,相当于指定了所有数据库。

  • 2.tableNames

    指定需要回滚的表名。多个表可以用“,”隔开。如果不指定该参数,相当于指定了所有表。

  • 3.start-position

    指定回滚开始的位置。如不指定,从文件的开始处回滚。请指定正确的有效的位置,否则无法回滚

  • 4.stop-position

    指定回滚结束的位置。如不指定,回滚到文件结尾。请指定正确的有效的位置,否则无法回滚

  • 5.start-datetime

    指定回滚的开始时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定,则不限定时间

  • 6.stop-datetime

    指定回滚的结束时间。注意格式必须是 %Y-%m-%d %H:%M:%S。 如不指定,则不限定时间

  • 7.sqlTypes

    指定需要回滚的sql类型。目前支持的过滤类型是INSERT, UPDATE ,DELETE。多个类型可以用“,”隔开。

  • 8.maxSplitSize

    一旦指定该参数,对文件进行固定尺寸的分割(单位为M),过滤条件有效,但不进行回滚操作。该参数主要用来将大的binlog文件切割,防止单次应用的binlog尺寸过大,对线上造成压力

  • 9.binlogFileNames

    指定需要回滚的binlog文件,目前只支持单个文件,后续会增加多个文件支持

  • 10.outBinlogFileNameBase

    指定输出的binlog文件前缀,如不指定,则默认为binlog_output_base.flashback

  • 11.logLevel

    仅供开发者使用,默认级别为error级别。在生产环境中不要修改这个级别,否则输出过多

  • 12.include-gtids

    指定需要回滚的gtid,支持gtid的单个和范围两种形式。

  • 13.exclude-gtids

    指定不需要回滚的gtid,用法同include-gtids

3.example

1.回滚整个文件

./flashback --binlogFileNames=haha.000041
mysqlbinlog binlog_output_base.flashback | mysql -h<host> -u<user> -p

2.回滚该文件中的所有insert语句

./flashback  --sqlTypes='INSERT' --binlogFileNames=haha.000041
mysqlbinlog binlog_output_base.flashback | mysql -h<host> -u<user> -p

3.回滚大文件

回滚
./flashback --binlogFileNames=haha.000042
切割大文件
./flashback --maxSplitSize=1 --binlogFileNames=binlog_output_base.flashback
应用
mysqlbinlog binlog_output_base.flashback.000001 | mysql -h<host> -u<user> -p
...
mysqlbinlog binlog_output_base.flashback.<N> | mysql -h<host> -u<user> -p
  • 发表于 2018-08-21 21:55
  • 阅读 ( 58 )

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
石天
石天

437 篇文章

作家榜 »

  1. shitian 662 文章
  2. 石天 437 文章
  3. 每天惠23 33 文章
  4. 小A 29 文章