Buongiorno a tutti, mi servirebbe un aiuto.
Ho cercato in rete ma vorrei essere sicuro che si possa fare.
La mia situazione è la seguente: alla fine di ogni mese devo esportare un file txt di circa 800 mb con i dati relativi agli ultimi 30 gg.
Ho provato a lavorare con power bi un file parziale di prova da 650 mb che contiene circa 7 milioni di righe e devo dire che tutto fila liscio rimanendo stupito di come abbia creato un file pbx di soli 3 mb....uno spettacolo.
Il mio quesito è il seguente: partendo da questa tabella (gennaio), per evitare di creare 12 tabelle diverse per ogni mese, posso aggiungere alla tabella di gennaio i dati di febbraio importandoli direttamente dal nuovo txt del prossimo mese?
Grazie per il vostro aiuto, buon lavoro
Aggiungere dati incrementali a tabella esistente
-
- Messaggi: 56 | Topic creati
- Iscritto il: gio 23 lug 2020, 17:10
- Ringraziato: 2 volte
-
- Messaggi: 890 | Topic creati
- Iscritto il: dom 28 giu 2020, 19:03
- Luogo: San Giovanni in Persiceto (BO)
- Ringraziato: 325 volte
- Contatta:
Aggiungere dati incrementali a tabella esistente
Ciao! Se hai un file separato per ogni mese, quello che ti occorre è fare una query che si appoggia a una cartella del disco fisso, e andrà automaticamente ad accodare tutti i file presenti in quella cartella (o anche non tutti, a seconda dei filtri che imposterai nella query stessa). Fai sapere se ti occorrono tutorial per questa elaborazione.
Se hai un PC abbastanza moderno e performante, non ti stare neppure a preoccupare fino a quando non sarai nel range tra le centinaia di milioni e il miliardo di record
Se hai un PC abbastanza moderno e performante, non ti stare neppure a preoccupare fino a quando non sarai nel range tra le centinaia di milioni e il miliardo di record
Enrico Galli
Link utili: I nostri tutorial | Come inserire: Immagini - Codice - Risolto
Se il forum ti è stato utile, considera di supportarlo con una libera donazione
Link utili: I nostri tutorial | Come inserire: Immagini - Codice - Risolto
Se il forum ti è stato utile, considera di supportarlo con una libera donazione
-
- Messaggi: 2240 | Topic creati
- Iscritto il: dom 28 giu 2020, 19:41
- Luogo: Bologna
- Ringraziato: 672 volte
- Contatta:
Aggiungere dati incrementali a tabella esistente
Ciao fofino72,
Quindi alla fine hai un file txt per ciascun mese?
Perché se è così puoi fare un caricamento direttamente da cartella e ogni mese dovrai solo inserire il nuovo file txt nella cartella assieme a quelli già esistenti.
Quando aggiornerai i dati verrano in automatico accodati assieme ai precedenti.
A presto,
Andrea
Ops: arrivato tardi
Quindi alla fine hai un file txt per ciascun mese?
Perché se è così puoi fare un caricamento direttamente da cartella e ogni mese dovrai solo inserire il nuovo file txt nella cartella assieme a quelli già esistenti.
Quando aggiornerai i dati verrano in automatico accodati assieme ai precedenti.
A presto,
Andrea
Ops: arrivato tardi
-
Autore del topic - Messaggi: 56 | Topic creati
- Iscritto il: gio 23 lug 2020, 17:10
- Ringraziato: 2 volte
Aggiungere dati incrementali a tabella esistente
Grazie ad entrambi per la celere risposta! Ciao Enrico Galli Il caricamento da cartella (che ho già predisposto) non lo avevo considerato....
Sì Andrea90 , avrò un file txt per ogni mese.
Quindi in pratica la procedura dovrebbe essere:
1) creo cartella
2) inserisco i vari file txt all'interno che man mano salverò
3) in power bi - recupera dati - cartella
4) scelgo il percorso - combina e trasforma dati (qui utilizzo per la prima riga come titoli delle colonne e sistemo la formattazione)
5) spero che i 6 gb di ram mi vengano incontro ed incrocio le dita.... (:
Sì Andrea90 , avrò un file txt per ogni mese.
Quindi in pratica la procedura dovrebbe essere:
1) creo cartella
2) inserisco i vari file txt all'interno che man mano salverò
3) in power bi - recupera dati - cartella
4) scelgo il percorso - combina e trasforma dati (qui utilizzo per la prima riga come titoli delle colonne e sistemo la formattazione)
5) spero che i 6 gb di ram mi vengano incontro ed incrocio le dita.... (:
-
Autore del topic - Messaggi: 56 | Topic creati
- Iscritto il: gio 23 lug 2020, 17:10
- Ringraziato: 2 volte
Aggiungere dati incrementali a tabella esistente
devo aver fatto qualcosa di sbagliato. ho fatto una prova su due file ma mi ha creato due tabelle distinte pur avendo scelto combina e trasforma, riprovo
-
- Messaggi: 2240 | Topic creati
- Iscritto il: dom 28 giu 2020, 19:41
- Luogo: Bologna
- Ringraziato: 672 volte
- Contatta:
Aggiungere dati incrementali a tabella esistente
Ciao fofino72,
I file txt hanno sempre la stessa struttura e le stesse intestazioni?
A presto,
Andrea
I file txt hanno sempre la stessa struttura e le stesse intestazioni?
A presto,
Andrea
-
Autore del topic - Messaggi: 56 | Topic creati
- Iscritto il: gio 23 lug 2020, 17:10
- Ringraziato: 2 volte
Aggiungere dati incrementali a tabella esistente
sono strutturati esattamente nello stesso modo.
In un primo momento mi dava anche degli errori su una colonna dove secondo lui c'erano dei valori "null" quando in realtà così non era.
Ho rifatto il procedimento ed in effetti adesso mi crea una sola tabella questa volta senza errori.
Ho pensato che fosse il nome file che potesse dagli fastidio (anche se a logica non ne avrei compreso il motivo), li ho comunque rinominati ed ora sembra che funzioni!
Ho inserito un terzo file, cliccato su aggiorna e sembra che tutto fili liscio. Certo è che a dicembre sarà divertente fargli rileggere 12 file da 800 mega ciascuno (:
Grazie davvero, continuo con le mie prove
Siete come sempre preziosissimi!
In un primo momento mi dava anche degli errori su una colonna dove secondo lui c'erano dei valori "null" quando in realtà così non era.
Ho rifatto il procedimento ed in effetti adesso mi crea una sola tabella questa volta senza errori.
Ho pensato che fosse il nome file che potesse dagli fastidio (anche se a logica non ne avrei compreso il motivo), li ho comunque rinominati ed ora sembra che funzioni!
Ho inserito un terzo file, cliccato su aggiorna e sembra che tutto fili liscio. Certo è che a dicembre sarà divertente fargli rileggere 12 file da 800 mega ciascuno (:
Grazie davvero, continuo con le mie prove
Siete come sempre preziosissimi!