Editor power query lentissimo L’argomento è risolto

Il software per la BI di Microsoft, leader nel mercato
Rispondi
Avatar utente

alex77
Messaggi: 160 | Topic creati
Iscritto il: sab 24 ott 2020, 23:04
Luogo: Treviso
Ringraziato: 11 volte

Editor power query lentissimo

Messaggio da alex77 »

Ciao a tutti,
sto creando un report alimentato da due fonti dati: tabelle del database del gestionale e una serie di file excel (253 file) con le distinte base di prodotto salvati in una cartella sharepoint. Il lavoro di ETL si è dimostrato subito abbastanza lento e anche il successivo caricamento dei dati in power bi ci mette anche svariate decine di minuti. Oggi lavorare è diventato praticamente impossibile: nell'editor di power query su alcune query non vengono mostrate le anteprime dati, il programma tenta di aggiornarla ma sembra non riuscirci.
Ho 15-20 query in questo file, anche alcune funzioni, faccio numerosi merge tra le query... in una in particolare unisco le vendite del 2021 (storiche e forecast) con le distinte e poi unisco anche i prezzi di listino dei componenti di quest'anno e dello scorso (frutto anch'essi di query, merge...).
La domanda è: plausibile che la lentezza sia dovuta alla lettura degli excel su sharepoint (a spanne non sono meno di 100mila righe)? Se li spostassi in una cartella nella rete aziendale dovrei guadagnarci?
Domanda più ampia: ci sono strumenti nell'editor di pq per "debuggare" situazioni del genere?

Grazie per un eventuale consiglio


Avatar utente

Enrico Galli
Messaggi: 890 | Topic creati
Iscritto il: dom 28 giu 2020, 19:03
Luogo: San Giovanni in Persiceto (BO)
Ringraziato: 325 volte
Contatta:

Editor power query lentissimo

Messaggio da Enrico Galli »

Ciao. Purtroppo la situazione che descrivi è una di quelle tipiche in cui Power query rallenta in modo quasi insopportabile. È vero che mette a disposizione molti strumenti di ETL accessibili con pochi clic del mouse, ma questo lo si paga in termini di prestazioni del flusso di ETL stesso. Per questa ragione, è estremamente consigliabile fare tutte le trasformazioni possibili nel database di origine tramite SQL e importare in Power query i dati già più puliti possibile.
Oltre a questo, è anche possibile fare qualche ottimizzazione sulla query, ma vista la situazione che descrivi con numerosi merge a cascata, non aspettarti miglioramenti strabilianti.
Ti consiglierei pertanto di chiedere al tuo IT se è possibile predisporre una vista che faccia già almeno alcuni dei merge e delle trasformazioni che ti occorrono
Enrico Galli
Link utili: I nostri tutorial | Come inserire: Immagini - Codice - Risolto
Se il forum ti è stato utile, considera di supportarlo con una libera donazione
Avatar utente

Autore del topic
alex77
Messaggi: 160 | Topic creati
Iscritto il: sab 24 ott 2020, 23:04
Luogo: Treviso
Ringraziato: 11 volte

Editor power query lentissimo

Messaggio da alex77 »

Enrico Galli grazie della pronta risposta... risposta che temevo!
Sicuramente non ho fatto un lavoro ottimizzato, è un'analisi un po' ad hoc più che un report da usare continuativamente e sono andato avanti un po' a spizzichi e bocconi e, ulteriormente, a tentoni. Quindi ripensando un po' meglio, forse qualcosa ci guadagnerei. Ho anche spostato i file excel in rete e mi pare che la situazione sia un po' migliorata.
Fammi capire: la lentezza è dovuta al fatto che ad ogni passaggio che si aggiunge, per mostrare l'anteprima, PBI svolge tutto il calcolo?
Avatar utente

Enrico Galli
Messaggi: 890 | Topic creati
Iscritto il: dom 28 giu 2020, 19:03
Luogo: San Giovanni in Persiceto (BO)
Ringraziato: 325 volte
Contatta:

Editor power query lentissimo

Messaggio da Enrico Galli »

Il fatto è che Power query non "perde" mai nulla: in qualsiasi punto della query tu puoi richiamare qualsiasi passaggio precedente, e questo comportamento evidentemente prevede un impiego di risorse maggiore rispetto allo scarto dei dati inutilizzati, filtrati o comunque eliminati.
Per il resto non so dirti neanch'io cosa ci sia "sotto al cofano", ma in generale una pre-elaborazione fatta in SQL o altri linguaggi, che magari ti consolidi già i tuoi CSV prima di importarli in Power query, sarebbe sicuramente benvenuta
Enrico Galli
Link utili: I nostri tutorial | Come inserire: Immagini - Codice - Risolto
Se il forum ti è stato utile, considera di supportarlo con una libera donazione
Rispondi