Jak mogę przyspieszyć przywracanie MySQL z pliku zrzutu?

28

Przywracam bazę danych 30 GB z pliku mysqldump do pustej bazy danych na nowym serwerze. Podczas uruchamiania kodu SQL z pliku zrzutu przywracanie rozpoczyna się bardzo szybko, a następnie staje się coraz wolniejsze. Poszczególne wstawki zajmują teraz ponad 15 sekund. Tabele są w większości MyISAM z jednym małym InnoDB. Serwer nie ma innych aktywnych połączeń. SHOW PROCESSLIST;pokazuje tylko wstawkę z przywracania (i samą listę procesów).

Czy ktoś ma jakieś pomysły na to, co może spowodować dramatyczne spowolnienie?

Czy są jakieś zmienne MySQL, które mogę zmienić, aby przyspieszyć przywracanie w trakcie jego trwania?

backup restore mysql

— Dave Forgac
źródło

Edytowano, aby poprawić typy tabel

— Dave Forgac

26

Jedną z rzeczy, które mogą spowalniać proces, jest key_buffer_size , czyli wielkość bufora używanego do bloków indeksów. Dostosuj to do co najmniej 30% pamięci RAM, w przeciwnym razie proces ponownego indeksowania będzie prawdopodobnie zbyt wolny.

Dla odniesienia, jeśli korzystasz z InnoDB i kluczy obcych, możesz również wyłączyć sprawdzanie kluczy obcych i włączyć je ponownie na końcu (używając SET FOREIGN_KEY_CHECKS=0i SET FOREIGN_KEY_CHECKS=1).

— Marco Ramos
źródło

1

Znalazłem dwie rzeczy: key_buffer_size został ustawiony na 8 MB i była jedna tabela InnoDB w mieszance z kluczami obcymi. Zwiększono rozmiar key_buffer_size do 1 GB i tymczasowo wyłączyłem sprawdzanie klucza obcego. Przywracanie zakończyło się za 5 minut. Dzięki!

— Dave Forgac

łał! Cieszę się, że pomogło :)

— Marco Ramos

2

Właśnie zauważyłem, że wpisałem „5” minut. Jestem prawie pewien, że

— trwało

5

key_buffer_size jest dla MYISAM.

— Fernando Fabreti

@FernandoFabreti - to ważny punkt dla wielu czytelników, ale OP określił, że mają głównie MyISAM

— mc0e

22

Ten link pokazuje, co można zrobić, aby przyspieszyć proces przywracania.

http://dev.mysql.com/doc/refman/5.5/en/optimizing-innodb-bulk-data-loading.html

Można umieścić polecenia na górze pliku zrzutu

SET @OLD_AUTOCOMMIT=@@AUTOCOMMIT, AUTOCOMMIT = 0;
SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS = 0;
SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS = 0;

I umieść te instrukcje na końcu pliku zrzutu

SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS;
SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS;
SET AUTOCOMMIT = @OLD_AUTOCOMMIT;
COMMIT;

To zadziałało dla mnie. Miłego przywracania :-)

— Dharmesh Tailor
źródło

8

To bardzo pomogło. Zamiast edytować plik, utworzyłem pre.sql i post.sql z powyższych fragmentów i użyłem go do przywrócenia bazy danych:cat pre.sql dump.sql post.sql | mysql ...

— Jason R. Coombs

1

Jedynym powodem, dla którego mogę sobie wyobrazić, dlaczego przywracanie stopniowo zwalniało, jest indeksowanie. Zbadaj wyłączanie indeksowania do końca, a następnie pozwól mu zrobić całą akcję naraz.

— John Gardeniers
źródło

1

Jeśli masz fizyczną kopię pliku zrzutu (katalog DB), możesz po prostu skopiować go na nowy serwer, jeśli nowy serwer ma tę samą wersję MySQL i będzie działał dobrze. Działa to dobrze z MyISAM i dla mnie myślę, że jest lepsze niż przywracanie danych na podstawie logicznego pliku zrzutu SQL.

— usef_ksa
źródło

0

jeśli masz wiele tabel, możesz skorzystać z mk-parallel-restore .

— pQd
źródło

Jest to obecnie przestarzałe i powinno być używane tylko do przywracania danych testowych, a nie do przywracania rzeczywistych kopii zapasowych.

— svandragt

0

To wystarczy:

mysql --init-command = "SET SESSION FOREIGN_KEY_CHECKS = 0; SET UNIQUE_CHECKS = 0;" -u root -p <Backup_Database.mysql

— Matiss
źródło

-1

Zasugerowałem ci

Sprawdź swoje tabele: czy ma wyzwalacze? Wyczyść wszystkie wyzwalacze
SET: AUTOCOMMIT=0, UNIQUE_CHECKS=0, FOREIGN_KEY_CHECKS=0( i nie zapomnij cofnąć zmienia )
UŻYWAJ PODOBNEJ LINII POLECEŃ mysql -u root -pPasss requests < mydb.sql
Sprawdź rozmiar pliku bazy danych

Powodzenia

— Ferhat KOÇER
źródło