Aggiornamento dati delle fact tables L’argomento è risolto

[Ranius]

Ciao, oggi è il primo giorno che scrivo nel forum e mi sto scatenando....
Ho un database la cui mole di file inizia a diventare importante (l'aggiornamento avviene tramite query su cartella, sono circa 60 files all'anno e ora sono a 3 anni di dati) in termini di tempi di aggiornamento della fact table principale e mi chiedo cosa succederà quando dovrò gestire 10 anni in fila....
Mi chiedevo se esistesse la possibilità di storare i dati di alcuni anni e aggiornare solo i nuovi inserimenti a partire, ad esempio, da una certa data.
Grazie a tutti in anticipo!

Michele

[Andrea90]

Ciao Michele,

I files che carichi in che formato sono?

Poiché se carichi i dati da cartella e nel nome con il quale salvi i file inserisci anche un riferimento alla data allora puoi creare dei filtri in maniera tale da caricare solamente i file che rispecchiano il numero di anni che vuoi analizzare.

A presto,

Andrea

[Ranius]

Carico files excel e nel nome è contenuta la data.
Il filtraggio può essere effettuato da quale menu?
Grazie

[Andrea90]

Quando carichi dei dati da cartella devi inserire il percorso della stessa e successivamente si apre una maschera che ti chiede se vuoi combinare i file (è un menu a tendina in realtà che apre diverse opzioni), oppure se vuoi trasformarli.

Puoi decidere di cliccare sul pulsante trasforma così da poter lavorare sui file prima di combinarli (l'interfaccia a questo punto ti creerà un file di esempio, un parametro, una funzione, ecc). Quello che vedi in foto:



Se invece decidi di trasformarli comparirà una lista di Binary più tutta una serie di altre colonne (tra le quali anche il nome dei file che stai caricando). A quel punto puoi decidere di tenere solo il binary e la colonna del nome dei file. Esegui poi delle operazioni per permetterti di estrarre la data di ciascun file in una nuova colonna, ed usi tale informazione per filtrare via tutti i file che non ti servono. Solo a quel punto vai ad espandere i file Binary che contengono poi i dati da caricare a sistema.



A presto,

Andrea

[Ranius]

Ciao, grazie della info.
In effetti quando ho creato la query per l'import ho tenuta solo la binary e cancellato le altre colonne, ma se vado in "modifica query" posso ripartire dallo step 1 e mantenere la colonna per filtrare la data.
Però prima di provare avrei bisogno di una conferma: cosa succede se filtro solo alcuni file e tralascio quelli più vecchi? All'atto dell'aggiornamento mantiene i dati vecchi o li cancella?

Grazie,
Michele

[Andrea90]

Ciao Michele,

se tu imposti un controllo automatico sulle date dei file allora quelli che risultano più vecchi del limite da te indicato verranno eliminati dall’estrazione (non ovviamente dalla cartella che li contiene).

Andrea

[Ranius]

Ho provato ma purtroppo non raggiungo il risultato.
Forse sbaglio qualcosa...ho modificato la struttura della query provando a filtrare solo alcuni files. Il filtraggio funziona, ma in fase di aggiornamento dati vengono esclusi tutti gli altri, quindi la mia dashboard resta limitata ai soli dati filtrati.
Io vorrei poter filtrare i dati da aggiornare, ma poi avere a disposizione tutto il database per le analisi....
Michele

[Andrea90]

Ciao Michele,

allora non ne capisco il senso, cioè se tu hai 10 files (1 al mese) e di questi ti servono solo quelli da maggio in avanti allora la query ti filtra via i primi 4 e ti lascia solo gli ultimi 6.

Ma se tu poi li vuoi lo stesso i primi 4 perché vuoi escluderli, tanto se li devi comunque caricare a sistema che motivo avresti di filtrarli via? Indipendentemente che siano dati storici e pertanto non sarebbero da aggiornare, ciononostante li devi comunque caricare per poterli poi utilizzare per le analisi.

Andrea

[Ranius]

Ciao Andrea, forse mi sono spiegato male, cerco di darti più elementi.
I dati mi servono sempre tutti perchè si tratta della mia fact table e quindi devo poterli utilizzare sempre tutti nel report.
Però ho notato che già oggi che ho solo 2 anni di dati (quindi sono circa un centinaio di files) i tempi di caricamento sono un pò lunghi; il problema sarà quando avrà ad esempio 5 anni in linea e tempo ci vorranno parecchi minuti. Mi chiedevo pertanto se fosse possibile fare un aggiornamento selettivo, mantenendo però i dati storici.
Filtrando i files nella query ho verificato che hai disponibili nel report solo i mesi selezionati e quindi non risolvo....

[Andrea90]

Ma cosa intendi tu con aggiornamento ? Perché i dati nel modello vanno comunque caricati, sia che tu li aggiorni sia che tu non lo voglia fare.

Per farti un esempio, se tu carichi una tabella come sola connessione vedrai che l'operazione è istantanea poiché il sistema non sta salvando in "memoria" alcun dato. Puoi utilizzarli in altre query (ad esempio con merge, ecc), senza per questo doverli importare dal tuo db (per intenderci la tua cartella).

Se tu quei dati li salvi invece in un modello dati vedrai che la query non sarà più in sola connessione (vedrai che comincerà a conteggiarti le righe caricate) e pertanto tutti i tuoi record verranno importati sul modello ogni qualvolta che premerai sul pulsante aggiorna. Quindi tu puoi anche filtrarli via ma se poi li vuoi vedere tutti sul modello dati è inutile poiché comunque dovrai caricarli li sopra (ed è l'operazione di caricamento che ti "rallenta" il tutto).

Andrea