Partitioned Compute in Dataflow Gen2 is a feature designed to process multiple files at the same time, potentially slashing your refresh durations. But how do you actually get it working with your data? In this post, I break down the exact setup process for ADLS Gen2, explain how the engine streams requests under the hood, and put it to the test with a massive benchmark. Read on to learn how to configure your partition keys and see the raw numbers for yourself.

Partitioned Compute v Dataflow Gen2 umí zpracovávat více souborů paralelně a teoreticky tak výrazně zkrátit dobu refreshe. Jak to ale reálně rozchodit s tvými daty? V tomhle článku ti ukážu přesný postup nastavení pro ADLS Gen2, vysvětlím, jak tenhle engine funguje pod pokličkou, a rovnou ho podrobím zátěžovému testu. Přečti si, jak správně nastavit partition key a zjisti z mého benchmarku, jak si tahle novinka vede v praxi.

Gen1 zapisuje CSV snapshoty do složky CDM v tvém ADLS Gen2 a uvidíš je až po propojení workspace s lakem. S Enhanced Compute Engine refresh navíc naplní SQL cache, kterou můžeš použít pro DirectQuery. Gen2 bez destination ukládá data do poloskryté DataflowsStagingLakehouse a vystaví je přes DataflowsStagingWarehouse, uložené jako Delta tabulky nad

Dataflows storage without guessing. Gen1 writes CSV snapshots into a CDM folder in your ADLS Gen2, visible only after you link the workspace to your lake. With Enhanced Compute Engine, refresh also fills a SQL cache you can use for DirectQuery. Gen2 with no destination lands data in the semi-hidden DataflowsStagingLakehouse and surfaces it through DataflowsStagingWarehouse, stored as Delta tables backed by Parquet. Where the files live, how to reach them, and what to watch ou