Optimalizace velkého množství INSERT operací

publikováno: 2.3.2016

Potřeboval jsem získat data z jedné databáze a uložit je do jiné, která běží na úplně jiném serveru a navíc je v malinko jiném formátu než zdrojová databáze. Tudíž jsem nemohl použít replikaci a další nástroje, které jsou určené ke zkopírování dat 1:1.

Nejprve jsem udělal jednoduchý INSERT, který jsem vykonal pro každý záznam zdrojové tabulky. Pro malé tabulky (méně než 100,000 záznamů) je toto plně dostačující řešení. Problém byl v tom, že moje tabulka měla několik milionů záznamů. Po několika desítkách minut, kdy bylo tímto způsobem uloženo řádově několik desítek tisíc záznamů jsem zjistil, že na to musím jít jinak.

Použil jsem INSERT multirow VALUES syntaxi:

INSERT INTO films (code, title, did, date_prod, kind) VALUES
    ('B6717', 'Tampopo', 110, '1985-02-10', 'Comedy'),
    ('HG120', 'The Dinner Game', 140, DEFAULT, 'Comedy');

Vždy jsem ukládal 10,000 záznamů najednou a tabulka s několika milióny záznamů byla překopírována za několik jednotek minut.

Reference

Školení bych doporučil všem lidem, kteří se chtějí dozvědět něco o DB. Na školeni jsem přišel, jako úplný nováček, co se týče práci s DB a odcházel plný dojmů a

Ondřej

Osobně jsem trošku stále váhající, jestli a jak moc SQL použít. Ale určitě hlavní je to, že se teď už tolik nebojím. Je to pro mě začátek dlouhé cesty. Osobně

Robert

Zajímavé školení, které vhodně kombinovalo teorii a praxi.

Ministerstvo financí
Jan


Novinky

22.3.2019: Termíny SQL školení léto 2019
Nové termíny!!!

3.1.2018: Oracle XE 12c nebude, místo toho bude Oracle XE 18c
V roce 2018 nás čeká nová XE verze a nové verzování

4.4.2017: SAP HANA & Veverka (SQuirrel SQL)
Oficiální SAP HANA studio funguje, ale je hrozně pomalé. Další z nástrojů, kde je možné rozchodit SAP HANA je Veverka (SQuirrel SQL)