免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

打開APP
userphoto
未登錄

開通VIP，暢享免費電子書等14項超值服

開通VIP

首頁

好書

留言交流

下載APP

聯(lián)系客服
mydumper工具介紹
一 前言
    大家對于MySQL的邏輯備份工具mysqldump應該都比較了解，相對于mysqldump，本文介紹一款由MySQL ,Facebook 等公司的開發(fā)維護另外一套邏輯備份恢復工具---mydumper/myloader目前已經(jīng)開發(fā)到0.9.1 版本。
mydumper 具有如下特性
1 支持多線程導出數(shù)據(jù)，速度比mysqldump快。
2 支持一致性備份，使用FTWRL(FLUSH TABLES WITH READ LOCK)會阻塞DML語句,保證備份數(shù)據(jù)的一致性。
3 支持將導出文件壓縮，節(jié)約空間。
4 支持多線程恢復。
5 支持以守護進程模式工作，定時快照和連續(xù)二進制日志
6 支持按照指定大小將備份文件切割。
7 數(shù)據(jù)與建表語句分離。
二 原理
參考一張圖 介紹mydumper的工作原理


mydumper的主要工作步驟
1 主線程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖，以阻止DML語句寫入，保證數(shù)據(jù)的一致性
2 讀取當前時間點的二進制日志文件名和日志寫入的位置并記錄在metadata文件中，以供即使點恢復使用
3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開啟讀一致事務
4 啟用N個（線程數(shù)可以指定，默認是4）dump線程導出表和表結構 
5 備份非事務類型的表
6 主線程 UNLOCK TABLES，備份完成非事務類型的表之后，釋放全局只讀鎖
7 dump InnoDB tables, 基于事物導出InnoDB表
8 事物結束

三 安裝使用
3.1 安裝
mydumper 基于c語言編寫，需要編譯安裝，因此需要安裝編譯工具。
  1. yum install glib2-devel mysql-devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake -y
  2. wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz
  3. tar xf mydumper-0.9.1.tar.gz
  4. cd mydumper-0.9.1/
  5. cmake .
  6. make && make install

點擊(此處)折疊或打開

  1. # cmake .
  2. -- Using mysql-config: /opt/mysql/bin/mysql_config
  3. -- Found MySQL: /opt/mysql/include, /usr/lib64/libperconaserverclient.so;/usr/lib64/libpthread.so;/usr/lib64/libm.so;/usr/lib64/librt.so;/usr/lib64/libdl.so
  4. -- Found ZLIB: /usr/lib64/libz.so (found version "1.2.3")
  5. -- Found PkgConfig: /usr/bin/pkg-config (found version "0.23")
  6. -- checking for one of the modules 'glib-2.0'
  7. -- checking for one of the modules 'gthread-2.0'
  8. -- checking for module 'libpcre'
  9. -- found libpcre, version 7.8
  10. -- Found PCRE: /usr/include
  11. CMake Warning at docs/CMakeLists.txt:9 (message):
  12.   Unable to find Sphinx documentation generator
  13. -- ------------------------------------------------
  14. -- MYSQL_CONFIG = /opt/mysql/bin/mysql_config
  15. -- CMAKE_INSTALL_PREFIX = /usr/local
  16. -- BUILD_DOCS = ON
  17. -- WITH_BINLOG = OFF
  18. -- RUN_CPPCHECK = OFF
  19. -- Change a values with: cmake -D<Variable>=<Value>
  20. -- ------------------------------------------------
  21. --
  22. -- Configuring done
  23. -- Generating done
  24. -- Build files have been written to: /root/mydumper-0.9.1
  25. # make
  26. Scanning dependencies of target mydumper
  27. [ 25%] Building C object CMakeFiles/mydumper.dir/mydumper.c.o
  28. [ 50%] Building C object CMakeFiles/mydumper.dir/server_detect.c.o
  29. [ 75%] Building C object CMakeFiles/mydumper.dir/g_unix_signal.c.o
  30. Linking C executable mydumper
  31. [ 75%] Built target mydumper
  32. Scanning dependencies of target myloader
  33. [100%] Building C object CMakeFiles/myloader.dir/myloader.c.o
  34. Linking C executable myloader
  35. [100%] Built target myloader
  36. # make install
  37. [ 75%] Built target mydumper
  38. [100%] Built target myloader
  39. Linking C executable CMakeFiles/CMakeRelink.dir/mydumper
  40. Linking C executable CMakeFiles/CMakeRelink.dir/myloader
  41. Install the project...
  42. -- Install configuration: ""
  43. -- Installing: /usr/local/bin/mydumper
  44. -- Installing: /usr/local/bin/myloader
安裝好之后 ，會生成兩個文件：
/usr/local/bin/mydumper  
/usr/local/bin/myloader
注意:
  1. 一般會遇到找不到 mysql-libraries 的問題，可以參考 stackoverflow 的回答，如果再解決不了，則可能是自己制定的MySQL安裝目錄的問題，比如我自己的安裝目錄是/opt/mysql/
  2. 則需要做一個軟連接 
  3. ln -s /opt/mysql/lib/libperconaserverclient.so /usr/lib64/libperconaserverclient.so
3.2 參數(shù)說明
mydumper 的常用參數(shù)
  1. -B, --database 要導出的dbname
  2. -T, --tables-list 需要導出的表名,導出多個表需要逗號分隔，t1[,t2,t3 ....] 
  3. -o, --outputdir 導出數(shù)據(jù)文件存放的目錄，mydumper會自動創(chuàng)建
  4. -s, --statement-size 生成插入語句的字節(jié)數(shù), 默認1000000字節(jié)
  5. -r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
  6. -F, --chunk-filesize 切割表文件的大小，默認單位是 MB ，如果表大于
  7. -c, --compress 壓縮導出的文件
  8. -e, --build-empty-files 即使是空表也為表創(chuàng)建文件
  9. -x, --regex 使用正則表達式匹配 db.table 
  10. -i, --ignore-engines 忽略的存儲引擎，多個值使用逗號分隔
  11. -m, --no-schemas 只導出數(shù)據(jù)，不導出建庫建表語句
  12. -d, --no-data 僅僅導出建表結構，創(chuàng)建db的語句
  13. -G, --triggers 導出觸發(fā)器
  14. -E, --events 導出events
  15. -R, --routines 導出存儲過程和函數(shù)
  16. -k, --no-locks 不執(zhí)行臨時的只讀鎖，會導致備份不一致 。WARNING: This will cause inconsistent backups
  17. --less-locking 最小化在innodb表上的鎖表時間 --butai
  18. -l, --long-query-guard 設置長時間執(zhí)行的sql 的時間標準
  19. -K, --kill-long-queries 將長時間執(zhí)行的sql kill
  20. -D, --daemon 以守護進程的方式執(zhí)行
  21. -I, --snapshot-interval 創(chuàng)建導出快照的時間間隔，默認是 60s ，該參數(shù)只有在守護進程執(zhí)行的時候有用。
  22. -L, --logfile 指定mydumper輸出的日志文件，默認使用控制臺輸出。
  23. --tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
  24. --skip-tz-utc
  25. --use-savepoints 使用savepoints 減少MDL 鎖事件 需要 SUPER 權限
  26. --success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn
myloader使用參數(shù)
  1. -d, --directory 備份文件的文件夾
  2. -q, --queries-per-transaction 每次事物執(zhí)行的查詢數(shù)量，默認是1000
  3. -o, --overwrite-tables 如果要恢復的表存在，則先drop掉該表，使用該參數(shù)，需要備份時候要備份表結構
  4. -B, --database 需要還原的數(shù)據(jù)庫
  5. -e, --enable-binlog 啟用還原數(shù)據(jù)的二進制日志
  6. -h, --host The host to connect to
  7. -u, --user Username with privileges to run the dump
  8. -p, --password User password
  9. -P, --port TCP/IP port to connect to
  10. -S, --socket UNIX domain socket file to use for connection
  11. -t, --threads 還原所使用的線程數(shù)，默認是4
  12. -C, --compress-protocol 壓縮協(xié)議
  13. -V, --version 顯示版本
  14. -v, --verbose 輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認為2
四  使用方法
#導出整個庫
  1. mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -o /data/trade_platform
#僅僅導出platform的ddl語句不包含數(shù)據(jù)到指定的目錄 /data/platform
  1. mydumper -u root -S /srv/my3308/run/mysql.sock -B platform -m -o /data/platform
#以壓縮的方式導出的文件
  1. mydumper -u root -S /srv/my3308/run/mysql.sock -B trade_platform -c -o /data/trade_platform
備份文件以.gz 的格式壓縮
  1. #ls
  2. metadata trade_platform.config.sql.gz trade_platform.trade_order-schema.sql.gz
  3. trade_platform.config-schema.sql.gz trade_platform-schema-create.sql.gz trade_platform.trade_order.sql.gz
#使用正則表達式
  1. mydumper -u root -S /srv/my3308/run/mysql.sock --regex='^(?!(mysql|test))' -o /data/bk20170120
其中正則表達式可以是
--regex=order.*  導出所有order 開頭的表
mydumper 導出的文件
  1. [root@rac4 17:27:02 /data/platform]
  2. # ls
  3. metadata platform.config.sql platform.order.sql
mydumper 導出的文件 分為
  1. metadata :包含導出時刻的binlog 位點信息 ，如果啟用gtid ，則記錄gtid信息。
  2. Started dump at: 2017-01-20 17:26:53
  3. SHOW MASTER STATUS:
  4.   Log: mysql-bin.000025
  5.   Pos: 505819083
  6.   GTID:
  7. Finished dump at: 2017-01-20 17:27:02
  8. db.table.sql        :數(shù)據(jù)文件，insert語句
  9. db.table-schema.sql :包含建表語句
  10. db-schema.sql       :包含建庫語句
注意 0.9.1 版本去掉了 --binlogs 參數(shù)，故會少了 啟用binlogs參數(shù)相關的文件。
有興趣的朋友可以繼續(xù)閱讀 這里，有專門針對mydumper與5.7 新出的mysqlpump 工具的討論。
五 小結
 從目前的測試來看，mydumper對備份的速度有一定提升，但是沒有網(wǎng)絡上說的10倍那么高。我已經(jīng)在我們的開發(fā)測試環(huán)境部署了該工具的備份腳本，用來解決開發(fā)同學的偶爾冒失行為。相比mysqldump，mydumper的導出的文件形式是每個表一個文件，對于開發(fā)/測試環(huán)境的誤操作恢復十分有效。
參考文章
[1] mydumper備份原理和使用方法 
本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請點擊舉報。
打開APP，閱讀全文并永久保存 查看更多類似文章
猜你喜歡
類似文章
TDSQL遷移，myloader:39626報錯問題的排查與解決
教你用phpBB2配置一個安全的Linux論壇(上) -
交叉編譯Apache+PHP+MySQL
在 Ubuntu 5.04(FreeBSD 5.5)上安裝 Ruby, Rails, Lighttpd, MySQL
CentOS系統(tǒng)服務器環(huán)境配置
shell實現(xiàn)一鍵安裝LNMP
更多類似文章 >>
生活服務
分享 收藏 導長圖 關注 下載文章
綁定賬號成功
后續(xù)可登錄賬號暢享VIP特權！
如果VIP功能使用有故障，
可點擊這里聯(lián)系客服！

聯(lián)系客服