Aggiungere dati incrementali a tabella esistente

[fofino72]

Buongiorno a tutti, mi servirebbe un aiuto.
Ho cercato in rete ma vorrei essere sicuro che si possa fare.
La mia situazione è la seguente: alla fine di ogni mese devo esportare un file txt di circa 800 mb con i dati relativi agli ultimi 30 gg.
Ho provato a lavorare con power bi un file parziale di prova da 650 mb che contiene circa 7 milioni di righe e devo dire che tutto fila liscio rimanendo stupito di come abbia creato un file pbx di soli 3 mb....uno spettacolo.

Il mio quesito è il seguente: partendo da questa tabella (gennaio), per evitare di creare 12 tabelle diverse per ogni mese, posso aggiungere alla tabella di gennaio i dati di febbraio importandoli direttamente dal nuovo txt del prossimo mese?
Grazie per il vostro aiuto, buon lavoro

[Enrico Galli]

Ciao! Se hai un file separato per ogni mese, quello che ti occorre è fare una query che si appoggia a una cartella del disco fisso, e andrà automaticamente ad accodare tutti i file presenti in quella cartella (o anche non tutti, a seconda dei filtri che imposterai nella query stessa). Fai sapere se ti occorrono tutorial per questa elaborazione.
Se hai un PC abbastanza moderno e performante, non ti stare neppure a preoccupare fino a quando non sarai nel range tra le centinaia di milioni e il miliardo di record

[Andrea90]

Ciao fofino72,

Quindi alla fine hai un file txt per ciascun mese?

Perché se è così puoi fare un caricamento direttamente da cartella e ogni mese dovrai solo inserire il nuovo file txt nella cartella assieme a quelli già esistenti.

Quando aggiornerai i dati verrano in automatico accodati assieme ai precedenti.

A presto,
Andrea

Ops: arrivato tardi

[fofino72]

Grazie ad entrambi per la celere risposta! Ciao Enrico Galli Il caricamento da cartella (che ho già predisposto) non lo avevo considerato....
Sì Andrea90 , avrò un file txt per ogni mese.
Quindi in pratica la procedura dovrebbe essere:
1) creo cartella
2) inserisco i vari file txt all'interno che man mano salverò
3) in power bi - recupera dati - cartella
4) scelgo il percorso - combina e trasforma dati (qui utilizzo per la prima riga come titoli delle colonne e sistemo la formattazione)
5) spero che i 6 gb di ram mi vengano incontro ed incrocio le dita.... (:

[fofino72]

devo aver fatto qualcosa di sbagliato. ho fatto una prova su due file ma mi ha creato due tabelle distinte pur avendo scelto combina e trasforma, riprovo

[Andrea90]

Ciao fofino72,

I file txt hanno sempre la stessa struttura e le stesse intestazioni?

A presto,
Andrea

[fofino72]

sono strutturati esattamente nello stesso modo.
In un primo momento mi dava anche degli errori su una colonna dove secondo lui c'erano dei valori "null" quando in realtà così non era.
Ho rifatto il procedimento ed in effetti adesso mi crea una sola tabella questa volta senza errori.
Ho pensato che fosse il nome file che potesse dagli fastidio (anche se a logica non ne avrei compreso il motivo), li ho comunque rinominati ed ora sembra che funzioni!
Ho inserito un terzo file, cliccato su aggiorna e sembra che tutto fili liscio. Certo è che a dicembre sarà divertente fargli rileggere 12 file da 800 mega ciascuno (:
Grazie davvero, continuo con le mie prove
Siete come sempre preziosissimi!