50.000 rijen in 5 minuutjes

Een tabel met stamdata bevat een slordige 50.000 rijen, wat in een datawarehouse moet ter benchmarking. De stamdata staat in een Excel en kan vrijwel onmogelijk anders aangeleverd vanwege legacy systemen.

Opties? Praktisch geen, want legacy. Dit is transport sector dus data gaat snel & het moet snel. Oneindige AI & RPA dus ook uitgesloten. Wat doe je? PowerAutomate, een onderdeel van onze technische kennis. Probleempje Excel Connector:

• Het kan maximaal 500 kolommen breed & 256 rijen lang teruggeven ineens. Er is een veelvoud van nodig, een slordige 200-voud om wat preciezer te zijn.
• We mogen maximaal 100 keer aanroepen doen elke 60 seconden. Dat zou betekenen dat we elke keer het bestand 2 minuten moeten bevriezen, terwijl er soms vaker per minuut waarden wijzigen.

Screenshot bewijst dat we dit kunnen, succesvol, keer op keer binnen 5 minuutjes ruim 60.000 rijen verwerkt zónder locks.