Derivazione dati da due server

Il software per la BI di Microsoft, leader nel mercato

fofino72
Messaggi: 56 | Topic creati
Iscritto il: gio 23 lug 2020, 17:10
Ringraziato: 2 volte

Derivazione dati da due server

Messaggio da fofino72 »

Buongiorno a tutti,
mi trovo in difficoltà e non so nemmeno se ciò che devo fare sia fattibile.
Cerco di spiegarmi: in azienda abbiamo un server in produzione ed un suo clone con dati fermi a giugno 2021 che usiamo per i test.

Sto cercando di creare un modello che possa essere interrogabile con power bi a seconda delle esigenze e fino ad oggi ho fatto le prove sul server di test. Da poco ho accesso anche al server in produzione ma i sistemisti mi hanno chiesto se posso tenere fermi i dati dello storico scaricati dal server di test e accodare una query con il server in produzione scaricando solo i dati più recenti per evitare di appesantire la rete.
E' fattibile?
Grazie!


Avatar utente

Andrea90
Messaggi: 2193 | Topic creati
Iscritto il: dom 28 giu 2020, 19:41
Luogo: Bologna
Ringraziato: 666 volte
Contatta:

Derivazione dati da due server

Messaggio da Andrea90 »

Ciao fofino72,

Avrai dunque due query, una che estrae i dati storici dal server test, ed una che estrae i dati da quello di produzione (immagino dovrai impostare una WHERE per definire quel “più recenti”).

Le due query potranno poi essere accodate per creare una tabella unica. In powerbi potresti anche disabilitare l’aggiornamento della prima query, essendo dati storici non credo che cambieranno più e pertanto basterà caricarli una sola volta nel modello senza eseguire dei refresh in futuro.

Andrea
Se hai gradito l'aiuto che hai ricevuto considera di contribuire alle spese per il mantenimento del forum facendo una libera DONAZIONE --> Link

Ricordarsi di segnare come "RISOLTE" le discussioni per le quali si è ricevuto un feedback positivo. Per vedere come fare --> Link

Autore del topic
fofino72
Messaggi: 56 | Topic creati
Iscritto il: gio 23 lug 2020, 17:10
Ringraziato: 2 volte

Derivazione dati da due server

Messaggio da fofino72 »

Ciao Andrea90 ,
grazie! Adesso so che tecnicamente è fattibile.

Quello che stavo cercando di capire se è possibile evitare di scaricare le tabelle in PBI (oggi nell'aggiornamento della preview in power query ci ha messo circa 30 minuti per una tabella....il file al momento è grande 2 gb)

Fino ad oggi mi sono connesso via ODBC ed in questo modo mi permette solo lo scarico dei dati ma se come connessione dati volessi scegliere DirectQuery come potrei fare?
Avatar utente

Andrea90
Messaggi: 2193 | Topic creati
Iscritto il: dom 28 giu 2020, 19:41
Luogo: Bologna
Ringraziato: 666 volte
Contatta:

Derivazione dati da due server

Messaggio da Andrea90 »

Ciao fofino72

Ti consiglio di cominciare a leggere questa guida, in particolar modo guarda la lista delle connessioni abilitate alle direct query (se è compresa anche la tua), e sopratutto leggi bene le limitazioni che avrai dall’utilizzo di questa tecnica.

https://docs.microsoft.com/it-it/power- ... irectquery

In fondo alla pagina ci sono altri link a sezioni importanti sull’argomento, che ti consiglio di leggere bene.

Andrea
Se hai gradito l'aiuto che hai ricevuto considera di contribuire alle spese per il mantenimento del forum facendo una libera DONAZIONE --> Link

Ricordarsi di segnare come "RISOLTE" le discussioni per le quali si è ricevuto un feedback positivo. Per vedere come fare --> Link
Avatar utente

Enrico Galli
Messaggi: 890 | Topic creati
Iscritto il: dom 28 giu 2020, 19:03
Luogo: San Giovanni in Persiceto (BO)
Ringraziato: 325 volte
Contatta:

Derivazione dati da due server

Messaggio da Enrico Galli »

Direttamente dai maestri nostri connazionali, Direct Query è consigliato solo se:
1) Hai miliardi e miliardi di righe
2) Devi avere il report in real-time, o aggiornarlo almeno, che so, una volta ogni ora.
Diversamente, Import. Direct Query impatta pesantemente sulle prestazioni del report (ogni volta che compi qualsiasi operazione, sia solo la modifica di uno slicer, la query deve essere rieseguita), e sul carico del server remoto.

Il suggerimento di Andrea90 è corretto: la parte storica la scarichi in Import e la tieni ferma senza mai più aggiornarla; la parte dinamica la aggiorni ogni volta accodandola poi a quella statica :thumbup:
Enrico Galli
Link utili: I nostri tutorial | Come inserire: Immagini - Codice - Risolto
Se il forum ti è stato utile, considera di supportarlo con una libera donazione

Autore del topic
fofino72
Messaggi: 56 | Topic creati
Iscritto il: gio 23 lug 2020, 17:10
Ringraziato: 2 volte

Derivazione dati da due server

Messaggio da fofino72 »

vi ringrazio dell'aiuto, inizio a dare una letta alle limitazioni.
Enrico Galli la mole di dati è nell'ordine delle centinaia di milioni (al momento il file pesa circa 1,5 gb)
alla seconda domanda: sì, la finalità è quella, derivare i dati per poterli avere aggiornati in qualsiasi momento on demand (non ogni ora ma diciamo una volta al giorno)
L'ultima cosa che deve accadere è appesantire il carico sul server: lavoriamo con il pubblico ed ogni rallentamento e/o problema non deve esistere....quindi mi sa che import sarà la scelta migliore
Alfonso
Avatar utente

Andrea90
Messaggi: 2193 | Topic creati
Iscritto il: dom 28 giu 2020, 19:41
Luogo: Bologna
Ringraziato: 666 volte
Contatta:

Derivazione dati da due server

Messaggio da Andrea90 »

fofino72,

Una volta al giorno? Allora se vuoi leggere Direct Query ok, non fa mai male per conoscenza… ma lasciala stare, ti serve l’Import classico.

Andrea
Se hai gradito l'aiuto che hai ricevuto considera di contribuire alle spese per il mantenimento del forum facendo una libera DONAZIONE --> Link

Ricordarsi di segnare come "RISOLTE" le discussioni per le quali si è ricevuto un feedback positivo. Per vedere come fare --> Link

Autore del topic
fofino72
Messaggi: 56 | Topic creati
Iscritto il: gio 23 lug 2020, 17:10
Ringraziato: 2 volte

Derivazione dati da due server

Messaggio da fofino72 »

Ciao mi riallaccio a questa mia discussione perché da allora le cose sono un po' cambiate.
Ho avuto accesso al server di produzione che contiene tutti i dati senza dover utilizzare più due server ma continuo ad utilizzare solo la modalità di importazione delle tabelle perché abbiamo difficoltà con la connessione postgres e la attendibilità del certificato remoto (via ODBC posso solo importare le tabelle ed ho letto in rete che è un problema del certificato è noto). Sono inoltre in attesa che mi attivino la versione Premium perché ormai il modello ha passato il gb, non posso pubblicare nulla né tantomeno provare l'aggiornamento incrementale delle tabelle.

Al momento tutto funziona come deve ma adesso mi trovo di fronte ad un problema che non riesco a superare.
Tra tutte le tabelle che mi servono ne esiste una con centinaie di milioni di righe che non riesco a scaricare perché in modalità import va in timeout e non potendo utilizzare le direct query non posso nemmeno filtrare con condizioni "where" (usando pgAdmin riesco a selezionare solo alcune righe quindi sarebbe fattibile...)

Ho fatto un po' di premesse per arrivare al dunque:
- posso in modalità import delle tabelle attraverso power query dire a power bi di scaricare i dati da una certa data in poi senza utilizzare le direct query?
- sempre in modalità import, senza utilizzare le direct query, c'è un modo di scaricare parte di quella suddetta tabella mastodontica che mi manda in timeout?

p.s. mi rendo conto che lavorare in modalità importazione è follia visto che il modello è popolato spesso con tabelle che passano il milione e quando gli chiedo l'aggiornamento di tutte le tabelle ci mette 20 minuti perché ogni volta le scarica tutte daccapo
Grazie!
Avatar utente

Andrea90
Messaggi: 2193 | Topic creati
Iscritto il: dom 28 giu 2020, 19:41
Luogo: Bologna
Ringraziato: 666 volte
Contatta:

Derivazione dati da due server

Messaggio da Andrea90 »

fofino72,

Non mi è chiaro che tipo di licenze utilizzi al momento, ma la logica potrebbe essere quella indicata qui:

https://docs.microsoft.com/it-it/power- ... h-overview

Andrea
Se hai gradito l'aiuto che hai ricevuto considera di contribuire alle spese per il mantenimento del forum facendo una libera DONAZIONE --> Link

Ricordarsi di segnare come "RISOLTE" le discussioni per le quali si è ricevuto un feedback positivo. Per vedere come fare --> Link

Autore del topic
fofino72
Messaggi: 56 | Topic creati
Iscritto il: gio 23 lug 2020, 17:10
Ringraziato: 2 volte

Derivazione dati da due server

Messaggio da fofino72 »

Al momento ho la pro ma ho chiesto l'upgrade alla premium
Rispondi