Troška na téma Optimalizace SQL dotazů

publikováno: 1.3.2016

Mám databázi, ve které jsou tyto tři tabulky:

  • artifacts_detail (140,000 záznamů)
  • java_classes (3,250,000 záznamů)
  • java_class_methods (26,500,000 záznamů)

a potřeboval jsem je spojit dohromady a získat prvních X záznamů, pak dalších X záznamů apod. Poznámka: Jedná se o databázi PostgreSQL. U ostatních to funguje podobně, jenom se malinko liší syntaxe.

Nejprve jsem udělal tento SELECT, ve kterém jsem pospojoval všechny tabulky a vybral například prvních 100 záznamů:

select *
from java_class_methods m 
  join java_classes c 
    on m.java_class_id = c.id 
  join artifacts_detail a 
    on c.group_id = a.group_id and c.artifact_id = a.artifact_id 
order by m.java_class_id, m.signature
limit 100;

Problém byl ten, že tento SELECT nikdy nedoběhl ... čekal jsem asi hodinu bez úspěchu. Podotýkám, že je vše správně "oindexované", čili v tom problém nebyl. Pro 10 záznamů to bylo rychlé, ale už pro 100 záznamů to bylo neuvěřitelně pomalé (a později jsem potřeboval těch záznamů získat daleko víc). Tak jsem to předělal následovně:

select *
from (select * 
      from java_class_methods m 
      join java_classes c 
        on m.java_class_id = c.id
      order by m.java_class_id, m.signature 
      limit 100) a 
join artifacts_detail b 
on a.group_id = b.group_id and a.artifact_id = b.artifact_id;

A tohle bylo hotové za pár desítek milisekund. Proč? Protože jsem co nejdříve výrazně omezil velikost výstupní matice a až v dalším kroku jsem k ní připojoval další tabulku.

 

Reference

Školení bych doporučil všem lidem, kteří se chtějí dozvědět něco o DB. Na školeni jsem přišel, jako úplný nováček, co se týče práci s DB a odcházel plný dojmů a

Ondřej

Osobně jsem trošku stále váhající, jestli a jak moc SQL použít. Ale určitě hlavní je to, že se teď už tolik nebojím. Je to pro mě začátek dlouhé cesty. Osobně

Robert

Zajímavé školení, které vhodně kombinovalo teorii a praxi.

Ministerstvo financí
Jan


Novinky

22.3.2019: Termíny SQL školení léto 2019
Nové termíny!!!

3.1.2018: Oracle XE 12c nebude, místo toho bude Oracle XE 18c
V roce 2018 nás čeká nová XE verze a nové verzování

4.4.2017: SAP HANA & Veverka (SQuirrel SQL)
Oficiální SAP HANA studio funguje, ale je hrozně pomalé. Další z nástrojů, kde je možné rozchodit SAP HANA je Veverka (SQuirrel SQL)