Backup 20 гиговых InnoDB ?

fxp · Непрочитанное сообщение **fxp** » 2008-12-06 19:28:39

В общем mysqldump отваливается стандартно "mysqldump: Error 2013: Lost connection to MySQL server during
query when dumping table `blahblah` at row: 2787"
Перепробована пачка вариантов с --single-transaction и прочими, непомогло.
Вариант с остановкой и копированием не подходит(долго), вариант со снапшотом тоже не подходит, система засрана так что не расчистиш и снапшот фигачится минут 10.

Короче полная жопа, если есть у кого опыт переезда с dbmail на dovecot - делитесь.

Хостинг HostFood.ru · **Хостинг HostFood.ru**

Тарифы на хостинг в России, от 12 рублей: https://www.host-food.ru/tariffs/hosting/
Тарифы на виртуальные сервера (VPS/VDS/KVM) в РФ, от 189 руб.: https://www.host-food.ru/tariffs/virtualny-server-vps/
Выделенные сервера, Россия, Москва, от 2000 рублей (HP Proliant G5, Intel Xeon E5430 (2.66GHz, Quad-Core, 12Mb), 8Gb RAM, 2x300Gb SAS HDD, P400i, 512Mb, BBU):
https://www.host-food.ru/tariffs/vydelennyi-server-ds/
Недорогие домены в популярных зонах: https://www.host-food.ru/domains/

zg · Непрочитанное сообщение zg » 2008-12-06 20:03:06

я бы попробовал ручками или в скрипте дампить данные в csv-файлы, это самый быстрый варинт дампа. По одной табличке. А стркутуру перенёс отдельно.

skeletor

rsync?

zg · Непрочитанное сообщение zg » 2008-12-09 17:29:48

skeletor писал(а):rsync?

иннодб даже гораздо меньшего объёма нельзя скорпировать так, чтобы модификации файлов во время копирования не было, про 20 гиг и говорить не стоит, тут даже mysqlhotsopy не выход.

warzoni · Непрочитанное сообщение **warzoni** » 2008-12-10 2:52:57

fxp писал(а):В общем mysqldump отваливается стандартно "mysqldump: Error 2013: Lost connection to MySQL server during
query when dumping table `blahblah` at row: 2173"
Перепробована пачка вариантов с --single-transaction и прочими, непомогло.
Вариант с остановкой и копированием не подходит(долго), вариант со снапшотом тоже не подходит, система засрана так что не расчистиш и снапшот фигачится минут 10.

Короче полная жопа, если есть у кого опыт переезда с dbmail на dovecot - делитесь.

/var/db/mysql )) капируй тупо и всё )) например эм fsbackup да потмо и востоновишь стемеже провами )) если слетит.да не парься.поставь рейд джемров и вздыхай спакойно ))

да зделай разок такое mysqlcheck --repair --analyze --optimize --all-databases --auto-repair

да 20 гиг немного понты )))))надоже а что за сервак железо ))большая база )

fxp · Непрочитанное сообщение **fxp** » 2008-12-10 6:49:25

rsync интересная идея, потестю как время будет.

zg, имеется ввиду с остановом базы.

zg · Непрочитанное сообщение zg » 2008-12-10 8:41:56

warzoni писал(а):да зделай разок такое mysqlcheck --repair --analyze --optimize --all-databases --auto-repair

не думаю, что к иннодб это относится. Это для исама пока придумано.

warzoni писал(а):да 20 гиг немного понты )))))надоже а что за сервак железо ))большая база )

у иннодб ограничение базы в несколько терабайт

fxp, глянь http://dev.mysql.com/doc/refman/5.1/en/ ... ackup.html

Alex Keda

ф топку.
у меня 25 или 30 гиг на MyISAM прекрасно жило.

zg · Непрочитанное сообщение zg » 2008-12-10 9:26:39

lissyara писал(а):у меня 25 или 30 гиг на MyISAM прекрасно жило.

-))))

InnoDB provides MySQL with a transaction-safe (ACID compliant) storage engine that has commit, rollback, and crash recovery capabilities.

у исама этого нет. Это и есть основное отличие иннодб от исама.

warzoni · Непрочитанное сообщение **warzoni** » 2008-12-10 9:33:20

да шошь такое сплю сори вечно не дочитую)) Sam должен работать.

weec · Непрочитанное сообщение **weec** » 2008-12-15 19:24:51

fxp писал(а):В общем mysqldump отваливается стандартно "mysqldump: Error 2013: Lost connection to MySQL server during
query when dumping table `blahblah` at row: 2173"
Перепробована пачка вариантов с --single-transaction и прочими, непомогло.

долго мучался?
побольше манов читай, документации, гугли, это довольно простая проблема

100Гб innodb таблицы дампятся без проблем

может посмотрим, что у тебя в my.cnf сервера?

P.S.: глянь тут http://www.netup.ru/phpbb/viewtopic.php?t=4052
но это лишь временное решение, тебе нужно настроить сервер

fxp · Непрочитанное сообщение **fxp** » 2008-12-17 17:35:14

Ну вот например:
mysqldump -p --skip-add-locks --single-transaction --opt dbmail > dbmail.sql
mysqldump: Error 2013: Lost connection to MySQL server during query when dumping table `dbmail_messageblks` at row: 2787

Код: Выделить всё

[client]
port            = 3306
socket          = /tmp/mysql.sock

[mysqld]
port            = 3306
socket          = /tmp/mysql.sock

max_connections=200
read_buffer_size=1M
sort_buffer_size=1M
key_buffer_size=16M
innodb_buffer_pool_size=768M
innodb_thread_sleep_delay=0
innodb_additional_mem_pool_size=20M
innodb_log_buffer_size=8M
innodb_flush_log_at_trx_commit=1
innodb_lock_wait_timeout=50

[mysqldump]
quick
max_allowed_packet = 1024M

[mysql]
no-auto-rehash

mysqlcheck заявляет что база в идеальном состоянии, памяти у системы всего 1гиг.

zg · Непрочитанное сообщение zg » 2008-12-17 19:02:18

fxp писал(а):max_allowed_packet = 1024M

нафига гиговые инсерты? лучше поставь метров 20-100, при импорте проблем меньше будет.

Volodymyr

zg писал(а):нафига гиговые инсерты? лучше поставь метров 20-100, при импорте проблем меньше будет.

Так это ж максимально допустимый размер. А генерировать такие инсерты умеет очень популярный http://sypex.net/products/dumper/

hizel · Непрочитанное сообщение **hizel** » 2008-12-17 20:16:42

серьёзные дяди бэкапируют на slave сервере
в результате все довольны и улюбаются

fxp · Непрочитанное сообщение **fxp** » 2008-12-18 9:51:33

Тебя обманули, серьезные дяди пользуют Оракл.
Задача - заставить дамп хотя бы задампить.

zg · Непрочитанное сообщение zg » 2008-12-18 12:27:49

fxp писал(а):Задача - заставить дамп хотя бы задампить.

дампить лучше средствами селекта

Код: Выделить всё

SELECT * FROM `table` INTO OUTFILE 'file_name'

hizel · Непрочитанное сообщение **hizel** » 2008-12-18 13:20:06

fxp писал(а):Тебя обманули, серьезные дяди пользуют Оракл.
Задача - заставить дамп хотя бы задампить.

глупости, ещё гугловцев и медиавиковцев несерьёзными обзовите

кстати, а вы mail листам mysql на этот счёт не шерстили
скажем вот ветка занятная http://lists.mysql.com/mysql/208877

weec · Непрочитанное сообщение **weec** » 2008-12-18 16:59:27

fxp, ты используешь ключи --skip-add-locks --single-transaction (mysqldump)
доступ к текущей базе критичный?

слей базу вот с такими ключами --opt --skip-extended-insert --skip-quick в файл
после, заливай дамп на новое хранилище
а будут ошибки, присылай последние 20 строк из файла .err

под какой системой используешь хранилище? сколько памяти на машине?

zg · Непрочитанное сообщение zg » 2008-12-18 17:38:21

weec писал(а): сколько памяти на машине?

у него гиг и самое смешное, что max_allowed_packet стоит также гиг, при дефолтном значении 16 метров

Код: Выделить всё

zg# mysql --help | grep max_all
  --max_allowed_packet=#
max_allowed_packet                16777216
zg#

а вылетает at row: 2173, то есть в среднем один ряд получается занимает 400 килобайт. Я бы рыл в эту сторону.

weec · Непрочитанное сообщение **weec** » 2008-12-18 18:33:29

про 1Гб упустил

fxp, похоже с памятью для системы проблемы, попробуй снять дам со следующими параметрами:
- параметр innodb_buffer_pool_size, в разделе mysqld, уменьши до 256M
- в раздел mysqld добавь параметр max_allowed_packet, его значение установи в 16M
- параметр max_allowed_packet, в разделе mysqldump, уменьши до 16M
- max_connections уменьши до 100

weec · Непрочитанное сообщение **weec** » 2008-12-29 23:26:49

мы дождемся каких либо результатов?

iZEN · Непрочитанное сообщение **iZEN** » 2008-12-30 15:32:02

fxp писал(а):В общем mysqldump отваливается стандартно "mysqldump: Error 2013: Lost connection to MySQL server during
query when dumping table `blahblah` at row: 2787"
Перепробована пачка вариантов с --single-transaction и прочими, непомогло.
Вариант с остановкой и копированием не подходит(долго), вариант со снапшотом тоже не подходит, система засрана так что не расчистиш и снапшот фигачится минут 10.

Короче полная жопа, если есть у кого опыт переезда с dbmail на dovecot - делитесь.

gmirror попробуйте. Да хоть по сети. Только сначала остановите сервер баз данных.

fxp · Непрочитанное сообщение **fxp** » 2009-01-08 0:11:47

"Непомогло".
Решил больше не тратить на этот бред время. И дамп будет часами идти и заливка черт знает сколько, единственный человеческий путь - через репликацию, но слишком некрасиво выбивается из общей схемы бекапа.
Самый правильный путь во всех отношениях - переезд на dovecot.

weec · Непрочитанное сообщение **weec** » 2009-01-26 18:03:00

http://dev.mysql.com/doc/refman/5.1/en/ ... -arch.html

на страничке приводиться несколько методов переноса баз, таблиц
попробоуй mysqldump с опцией --tab (сервер сам кидает дамп потаблично в файлы) и mysqlimport
данный метод отличается хорошей скоростью

forum.lissyara.su

Backup 20 гиговых InnoDB ?

Backup 20 гиговых InnoDB ?

Услуги хостинговой компании Host-Food.ru

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?

Re: Backup 20 гиговых InnoDB ?