Gestione tabelle "enormi" L’argomento è risolto

[ARomeo]

Ciao a tutti, vorrei gentilmente un consiglio su come gestire tabelle power bi con decine di migliaia di righe. Ho infatti un progetto basato su una tabella che aggiorno importando ed accodando con power query un file excel giornaliero. Va da se che nel tempo il caricamento è diventato lentissimo. Mi chiedo, e vi chiedo, se risolvo collegarndo detta tabella ad un file statico che aggiornerei con copia-incolla e quale tipo di file carica più velocemente (excel, access etc?)

Grazie anticipatamente
Alessio

[Andrea90]

Ciao ARomeo,

Se con enorme intendi diverse decine di MILIONI di record allora ok, altrimenti se parli di decine di migliaia di righe, per PowerBI dubito che ci siano di questi problemi, e se ci sono al limite sono da ricercare nei passaggi che esegui durante il caricamento.

Se hai intenzione di utilizzare un file unico da caricare, senza impazzire troppo, direi un csv.

A presto,
Andrea

[ARomeo]

Ciao Andrea, e grazie per la risposta.
In effetti sono stato "ottimista" circa le dimensioni delle tabelle, nel senso che parliamo di decine di migliaia di record che diventeranno centinaia e forse i milioni che dici tu. Fatto sta che comincio ad avere problemi di lentezza fin d'ora. Da quel che vedo pare dipendere dal fatto che ogni volta PBI ricalcola tutti gli accodamenti nella tabella principale e da qui l'idea di collegarla una volta per tutte ad un file unico in cui incollo i record man mano. Purtroppo non riesco a capire come si fa a "svuotare" la tabella attuale (intendo cancellare tutti i record lasciando inalterata la struttura) per poi collegarla al file di cui sopra. Ho provato ad annullare gli accodamenti e cambiare l'origine dati ma mi da errore. Mi sapresti indicare la procedura corretta?

Grazie ancora
Alessio

[Andrea90]

Ciao ARomeo,

I file excel giornalieri sono un estratto del vostro gestionale? Perché se così fosse puoi anche provare a collegare PowerBi direttamente alla tua fonte dati.

Se tu adesso hai tanti file excel che accodi immagino che tu stia effettuando un caricamento da cartella.

Invece di far così devi ricrearti la nuova query che estrarrà i dati dal file unico che metterai a disposizione, nel formato che poi deciderai (che sia csv, excel, ecc ecc ).

Quindi la tua tabella “finale” quella che ottenevi al termine dei vari accodamenti, dovrà essere sostituita da quella risultante dalla nuova query, ma queste sono modifiche che devi impostare manualmente.

A presto,
Andrea

[ARomeo]

Ciao Andrea,
hai centrato perfettamente il problema. Sto effettuando un caricamento da cartella e finora lo ho fatto importando una tabella alla volta con i dati giornalieri e successivamente accodando con power query in una tabella complessiva. Nessun problema ovviamente a creare un file unico ed importarlo in una nuova query. Solo che così facendo, se ho capito bene, devo andare a cambiare tutte le misure e tutti gli oggetti grafici del modello, cosa che sinceramente vorrei evitare. C'è un modo?

Grazie, saluti
Alessio

[Andrea90]

Lavora prima di tutto con una copia del tuo file così da poter fare dei test.

Per fare un esempio, se la tua tabella risultante dai vari accodamenti l’hai chiamata “Fact” allora quando caricherai la tua nuova query (quella che pesca i dati da un unico file) dovrai fare in modo che anche lei si chiami allo stesso modo.

Ovviamente due tabelle dello stesso modello, non possono avere lo stesso nome, pertanto la tabella originale dovrà prima essere eliminata dal modello (avrai anche diverse query da eliminare che si autogenerano quando fai un caricamento da cartella).

Prima di lanciare il refresh del modello dovresti trovarti in una situazione in cui la tabella originale non c’è più (così come le altre query auto generate), ed al suo posto ne hai una che si chiama allo stesso modo, ma che pesca i dati da un solo file.

Se fai il refresh le misure che avevi preparato non dovrebbero subire danni.

Fai qualche test però.

Andrea