Kontaktní osoba:
Ing. Jiří Pinkas
Mobil: +420 774 912 047

Optimalizace velkého množství INSERT operací


publikováno: 2.3.2016

Potřeboval jsem získat data z jedné databáze a uložit je do jiné, která běží na úplně jiném serveru a navíc je v malinko jiném formátu než zdrojová databáze. Tudíž jsem nemohl použít replikaci a další nástroje, které jsou určené ke zkopírování dat 1:1.

Nejprve jsem udělal jednoduchý INSERT, který jsem vykonal pro každý záznam zdrojové tabulky. Pro malé tabulky (méně než 100,000 záznamů) je toto plně dostačující řešení. Problém byl v tom, že moje tabulka měla několik milionů záznamů. Po několika desítkách minut, kdy bylo tímto způsobem uloženo řádově několik desítek tisíc záznamů jsem zjistil, že na to musím jít jinak.

Použil jsem INSERT multirow VALUES syntaxi:

INSERT INTO films (code, title, did, date_prod, kind) VALUES
    ('B6717', 'Tampopo', 110, '1985-02-10', 'Comedy'),
    ('HG120', 'The Dinner Game', 140, DEFAULT, 'Comedy');

Vždy jsem ukládal 10,000 záznamů najednou a tabulka s několika milióny záznamů byla překopírována za několik jednotek minut.





comments powered by Disqus


Reference

Expobank CZ, a.s.

" Co se mi na školení líbilo byla neformální atmosféra, která panovala po celou dobu školení. Dále bych pochválil lektora za pohotové odpovědi a také za příklady ze života/ praxe (čím " podrobnosti ...

Tomáš

Commerz Systems

" Skoleni se mi moc libilo. Hodne praktickych prikladu na pocitaci, kde clovek rychlej pochopil danou problematiku. V pripade nepochopeni byl lektor ochoten poradit a vysvetlit konkretni pripad detailneji. Skoleni budu " podrobnosti ...

Andrea

Buřinka

" Školení na psaní SQL dotazů předčilo mé očekávání. Jirka probírá teorii po blocích, po každém bloku účastníci zpracovávají praktické příklady. Při zpracování praktických příkladů jsem velmi ocenila individuální " podrobnosti ...

Zuzana


Novinky

4.4.2017: SAP HANA & Veverka (SQuirrel SQL)

Oficiální SAP HANA studio funguje, ale je hrozně pomalé. Další z nástrojů, kde je možné rozchodit SAP HANA je Veverka (SQuirrel SQL) podrobnosti ...

25.3.2017: SAP HANA referenční příručky

V současnosti je trošku složitější najít na webu referenční příručku k SAP HANA SQL, proto sem dávám odkazy. podrobnosti ...

6.3.2017: SAP HANA 2.0, express edition + SAP HANA studio instalace

Rychlé how-to podrobnosti ...