MondoBI

Ciao a tutti,
sto creando un report alimentato da due fonti dati: tabelle del database del gestionale e una serie di file excel (253 file) con le distinte base di prodotto salvati in una cartella sharepoint. Il lavoro di ETL si è dimostrato subito abbastanza lento e anche il successivo caricamento dei dati in power bi ci mette anche svariate decine di minuti. Oggi lavorare è diventato praticamente impossibile: nell'editor di power query su alcune query non vengono mostrate le anteprime dati, il programma tenta di aggiornarla ma sembra non riuscirci.
Ho 15-20 query in questo file, anche alcune funzioni, faccio numerosi merge tra le query... in una in particolare unisco le vendite del 2021 (storiche e forecast) con le distinte e poi unisco anche i prezzi di listino dei componenti di quest'anno e dello scorso (frutto anch'essi di query, merge...).
La domanda è: plausibile che la lentezza sia dovuta alla lettura degli excel su sharepoint (a spanne non sono meno di 100mila righe)? Se li spostassi in una cartella nella rete aziendale dovrei guadagnarci?
Domanda più ampia: ci sono strumenti nell'editor di pq per "debuggare" situazioni del genere?

Grazie per un eventuale consiglio

Ciao. Purtroppo la situazione che descrivi è una di quelle tipiche in cui Power query rallenta in modo quasi insopportabile. È vero che mette a disposizione molti strumenti di ETL accessibili con pochi clic del mouse, ma questo lo si paga in termini di prestazioni del flusso di ETL stesso. Per questa ragione, è estremamente consigliabile fare tutte le trasformazioni possibili nel database di origine tramite SQL e importare in Power query i dati già più puliti possibile.
Oltre a questo, è anche possibile fare qualche ottimizzazione sulla query, ma vista la situazione che descrivi con numerosi merge a cascata, non aspettarti miglioramenti strabilianti.
Ti consiglierei pertanto di chiedere al tuo IT se è possibile predisporre una vista che faccia già almeno alcuni dei merge e delle trasformazioni che ti occorrono

Enrico Galli grazie della pronta risposta... risposta che temevo!
Sicuramente non ho fatto un lavoro ottimizzato, è un'analisi un po' ad hoc più che un report da usare continuativamente e sono andato avanti un po' a spizzichi e bocconi e, ulteriormente, a tentoni. Quindi ripensando un po' meglio, forse qualcosa ci guadagnerei. Ho anche spostato i file excel in rete e mi pare che la situazione sia un po' migliorata.
Fammi capire: la lentezza è dovuta al fatto che ad ogni passaggio che si aggiunge, per mostrare l'anteprima, PBI svolge tutto il calcolo?

Il fatto è che Power query non "perde" mai nulla: in qualsiasi punto della query tu puoi richiamare qualsiasi passaggio precedente, e questo comportamento evidentemente prevede un impiego di risorse maggiore rispetto allo scarto dei dati inutilizzati, filtrati o comunque eliminati.
Per il resto non so dirti neanch'io cosa ci sia "sotto al cofano", ma in generale una pre-elaborazione fatta in SQL o altri linguaggi, che magari ti consolidi già i tuoi CSV prima di importarli in Power query, sarebbe sicuramente benvenuta