csv-backup

Overview ¶

Snellere, concurrent OpenAC backup. Dezelfde backup, maar sequentieel i.p.v. concurrent, is 50% trager. 2:26 om 16:24 met backup op sd-kaart zonder escaping 3:35 met escaping. Escaping heeft ruim een minuut aan de tijd toegevoegd, dat moet sneller kunnen. idee: join eerst alle velden met ||, escape het resultaat en vervang als laatste || weer door \t. Dat scheelt veel functie calls. Na implementatie van bovenstaand idee is de tijd weer terug naar 2:28! Volgende optimalisatie: buffered IO. 2:09 met buffered IO.

Idee voor restore: Voor elk tsv-bestand: * Lees kolomnamen uit tsv-bestand * Lees met een query de structuur van deze tabel uit de database * Maak een map[tabelnaam:kolomnaam]datatype t.b.v. dataconversie * Construeer een query op basis van tsv-kolommen die voorkomen in de tabel * Gebruik zoveel mogelijk batch inserts, commit na elke batch