Power BI: caricamento incrementale da sharepoint e merge tra tabella incrementale e tabella non incrementale

[Andrea90]

@Rippy_2007

Ripensando a questa stringa di testo che hai scritto prima:

Se per una chiamata di dicembre non si trova l'agente in anagrafica di dicembre, l'agente va cercato nei mesi precedenti e la chiamata va collegata all'anagrafica agente piu recente.

Quindi se tu hai una voce in Calls che è relativa al mese di ottobre, ma l’ultimo dato di anagrafica che hai per quell’Id è di giugno… tu prenderai le info di quell’agente relative al mese di giugno corretto?

Può capitare che in una call manca il dato di luglio, ma nell anagrafica agente hai un dato a maggio (quindi prima) ed uno a settembre (quindi dopo)? in questo caso devi legare il dato di maggio ? perché magari nel mentre i dati dell’agente sono cambiati e quindi vuoi gli ultimi valori precedenti alla data di call?

Andrea

[Rippy_2007]

@Andrea90


Quindi se tu hai una voce in Calls che è relativa al mese di ottobre, ma l’ultimo dato di anagrafica che hai per quell’Id è di giugno… tu prenderai le info di quell’agente relative al mese di giugno corretto?
Esatto

Può capitare che in una call manca il dato di luglio, ma nell anagrafica agente hai un dato a maggio (quindi prima) ed uno a settembre (quindi dopo)? in questo caso devi legare il dato di maggio ? perché magari nel mentre i dati dell’agente sono cambiati e quindi vuoi gli ultimi valori precedenti alla data di call?
Non è mai capitato, ma teoricamente sì e stiamo sbagliando. Andremmo a riprendere l'ultima, quindi settembre, e a legarla a maggio, anziché agli ultimo valore precedente alla data di call.


La necessità di ricaricare tutta l'anagrafica l'abbiamo avuta perché si sono accorti di aver fatto un errore in un campo: la formula che calcolava il campo SOURCE sul loro Excel era sbagliata. La correzione ha modificato tutte le righe dell'Excel di anagrafica.

[Andrea90]

Non è mai capitato, ma teoricamente sì e stiamo sbagliando. Andremmo a riprendere l'ultima, quindi settembre, e a legarla a maggio, anziché agli ultimo valore precedente alla data di call.

Ottimo quindi se ben capisco a prescindere dall'anagrafica dell'agente e di come compare nelle diverse date, faccio un esempio:

1) ID agente: 001 Data: 01/04/2023 Nome: Gino
2) ID agente: 001 Data: 01/07/2023 Nome: Carlo
3) ID agente: 001 Data: 01/10/2023 Nome: Anna

Se tu hai, per questo agente, un movimento per ciascun mese del 2023 (in totale dodici) tu vorresti che nella tabella dei fatti l'agente comparisse sempre come Anna ? Idem se ci fossero valori precedenti al 2023? Oppure l'anno lo vuoi considerare?

Per la faccenda che questa anagrafica è duplicata, perché allo stesso ID possono rispondere più agenti il problema è che se anche facessi un merge andresti a duplicare le righe della tabella dei fatti (con conseguente duplicazione dei valori di tutte le misure) e questo porterebbe ad ingigantire inutilmente il database.

Se non avete modo di applicare una logica valida dovresti lasciare la relazione molti a molti (che comunque Power BI può gestire)

Andrea

[Rippy_2007]

Provo a spiegarmi
Se il sistema trova l'anagrafica per il mese-agente reale lo collega a quello, se non lo trova lo collega all'anagrafica più recente

Esempio
ID agente: 001 Data: 01/10/2023 Nome: Ciccio
ID agente: 002 Data: 01/10/2023 Nome: Filippo

ID agente: 001 Data: 01/11/2023 Nome: Ciccio


Chiamate Ottobre
per chiamate 001-ottobre --> trova anagrafica e le chiamate vengono collegate a (001-ottobre)
per chiamate 002-ottobre --> trova anagrafica e le chiamate vengono collegate a (002-ottobre)

Chiamate Novembre
per chiamate 001-novembre --> trova anagrafica e le chiamate vengono collegate a (001-novembre)
per chiamate 002 -novembre--> non trova anagrafica e va a collegare alla tabella che contiene solo le versioni più recenti, in questo caso collega a (002-ottobre)

Quindi dobbiamo considerare quel anno/mese/utente laddove esiste la corrispondenza e cercare il più recente dove non esiste la corrispondenza.

Senza il merge non sapremmo come affrontare e distinguere queste due casistiche.

Per quanto riguarda le righe duplicate sono in numero irrisorio e l'utente ne è consapevole, sa che per quegli agenti le chiamate sono duplicate. (circa 10 agenti su 600 hanno doppia anagrafica per mese, in realtà sono di più ma abbiamo modo di fare una pulizia nel caricamento degli agenti) .

Grazie ancora

[Andrea90]

@Rippy_2007

“ Senza il merge non sapremmo come affrontare e distinguere queste due casistiche.”

Un anno ha 12 mesi quindi per ciascun agente ti crei di default le 12 righe … alcune avranno la corrispondenza con la tua tabella di anagrafica (tramite merge) altre no… per quelle che non hanno corrispondenza il campo sarà null e dunque eseguirai un riempimento verso il basso… in questo modo trascinerai nei mesi vuoti l’ultimo valore disponibile … la corrispondenza con la tabella dei fatti ci sarà per forza perché avrai considerato tutte le possibili combinazioni avente - anno - mese. Questa sarà la tua tabella reale di anagrafica da collegare con quella dei fatti in un modello dati.

Per quelle casistiche particolari, visto che sapete già quali sono, preparerete una codifica ad hoc in modo tale da poter eliminare il bisogno di una corrispondenza molti a molti.

Andrea

[Rippy_2007]

@Andrea90
Ti ringrazio, sul primo punto, ho capito e ci riproviamo. Avevamo cercato all'inizio di perseguire questa soluzione ma non eravamo stati in grado, in tempi brevi, di creare una riga per ogni mese di Agent ID. (Avendo le ore contate abbiamo escogitato l'escamotage che ho descritto).

Per quelle casistiche particolari, visto che sapete già quali sono, preparerete una codifica ad hoc in modo tale da poter eliminare il bisogno di una corrispondenza molti a molti.

In realtà sappiamo oggi quali sono, ma il mese prossimo cambieranno.
Sono casi rari, ma imprevedibili!
In teoria agent-id identifica un agente con una determinata configurazione (supervisor, mercato, company ecc..)
Per uno stesso mese un agente può essere legato a due configurazione (a volte anche tre)
IN TEORIA l'agent id dovrebbe cambiare.. ed essere univoco.. ma in realtà a volte non succede.
Esempio (semplificato, perché in realtà entrano in gioco diverse variabili) è quello del supervisor
Un agente lavora nel mese per due supervisor differenti, viene "prestato" anche ad un altro supervisor...

Ottobre 2023
Agent_id c_ciccioA Nome Agent: Ciccio; Supervisor: Alberto
-->l'agente Ciccio lavora solo per Alberto

Novembre 2023
Agent_id c_ciccioA Nome Agent: Ciccio; Supervisor: Alberto
Agent_id c_ciccioA Nome Agent: Ciccio; Supervisor: Baldo
-->l'agent Ciccio lavora per Alberto e Baldo. Non viene modificato l'agent id
La chiamata contiene solo l'agent-id, quindi le chiamate devono essere collegate ad entrambe le righe. L'utente in base alla propria esperienza vedrà gli agenti duplicati e farà le considerazioni del caso.

Dicembre 2023
Agent_id c_ciccioA Nome Agent: Ciccio; Supervisor: Alberto
Agent_id c_ciccioB Nome Agent: Ciccio; Supervisor: Baldo
-->l'agent Ciccio lavora per Alberto e Baldo. E' stato creato un secondo agent id. Le chiamate vengono distinte.

Gennaio 2024
Agent_id c_ciccioA Nome Agent: Ciccio; Supervisor: Alberto
--L'agente torna a lavorare solo per Alberto.
Magari a gennaio è un altro ad essere duplicato.. un agente che fino a dicembre è stato singolo..

Sono pochissimi casi, ma non sono fissi.
Un nuovo agente duplicato può arrivare ogni mese

Grazie ancora!

[Andrea90]

@Rippy_2007,

In allegato un file demo con il primo passaggio per creare per ciascun agente 12 righe, ognuna per ciascun mese.

Andrea

[Rippy_2007]

@Andrea90
Grazie ancora, nel pomeriggio ci proviamo.

[Rippy_2007]

@Andrea90 Purtroppo non abbiamo ancora avuto il tempo di provarlo, perchè ci sono arrivate altre richieste sempre urgentissime. Mi riservo di provare appena ho un po' di tempo. Nel frattempo devo aprire un'altra discussione con un problema sui grafici.
Grazie ancora e spero di dare un feedback in tempi brevi

[Rippy_2007]

@Andrea90
Buongiorno, ho provato ma ho qualche dubbio su come eseguire il riempimento. Dopo il merge tra
Tabella A: creata ad hoc con Agente per ogni mese
e Tabella B: la reale tabella di anagrafica
ottengo situazioni di questo tipo:
Agente Minnie è presente in anagrafica solo nei mesi da gennaio a luglio
Agente Topolino è presente in anagrafica solo a partire da ottobre
In questo modo per entrambi ho creato una riga per ogni mese dell'anno.
Ho ordinato per Agente e Mese
Come posso far per impostare correttamente il riempimento per Agente ?
TabellaA.Agente TabellaA.Mese TabellaB.Agente TabellaB.Mese
Minnie 202301 Minnie 202301
Minnie 202302 Minnie 202302
Minnie 202303 Minnie 202303
Minnie 202304 Minnie 202304
Minnie 202305 Minnie 202305
Minnie 202306 Minnie 202306
Minnie 202307 NULL NULL
Minnie 202308 NULL NULL
Minnie 202309 NULL NULL
Minnie 202310 NULL NULL
Minnie 202311 NULL NULL
Minnie 202312 NULL NULL --> sino a qui deve compilarsi con i dati di Minnie
Topolino 202301 NULL NULL -->arriva per la prima volta a ottobre, le righe da gennaio a settembre, in teoria non dovrebbero esserci o comunque essere compilate con i dati di Topolino
Topolino 202302 NULL NULL
Topolino 202303 NULL NULL
Topolino 202304 NULL NULL
Topolino 202305 NULL NULL
Topolino 202306 NULL NULL
Topolino 202307 NULL NULL
Topolino 202308 NULL NULL
Topolino 202309 NULL NULL
Topolino 202310 Topolino 202310
Topolino 202311 Topolino 202311
Topolino 202312 Topolino 202312

Grazie