Scopri le potenzialità della metodologia del Mystery Audit attraverso un caso studio realizzato sulla base di un’esperienza sviluppata in un settore critico come quello sanitario.
Il pezzo espone l’idea di base sulla quale è nato il progetto, per poi mostrare le fasi con cui si è sviluppato e i risultati ottenuti.
Premessa importante: per alcuni motivi specifici (legati alla metodologia del Mystery Audit) alcuni dati nel presente articolo sono volutamente celati, per salvaguardare il committente, le persone incontrate e gli auditor coinvolti.
RIFLESSIONE DI PARTENZA
Una domanda che in qualità di auditor ci si pone da sempre è se l’audit tradizionale sia davvero efficace. Qualunque auditor sa benissimo che quando si reca in azienda una parte del personale è stata impiegata, almeno per un mese prima dell’audit, a sistemare le registrazioni che dall’ultimo audit non sono state rese disponibili con la dovuta sistematicità (es. annotazioni dettagliate di formazione interna, gestione di reclami, riesame della Direzione, etc.). L’auditor sa che è un’abitudine piuttosto diffusa che non sempre riesce a scardinare, in nome del principio di obiettività e dell’evidenza oggettiva.
TESTIMONIANZA DIRETTA DI UN AUDITOR
Riportiamo la testimonianza di un auditor professionista, che racconta la sua esperienza personale, proprio in riferimento a questo ultimo dato di fatto.
"… Ma un fatto in particolare è stato per me uno shock! Dopo un audit in un laboratorio di analisi clinica, che si era concluso con esito positivo, ho avuto occasione di recarmi nello stesso sito per auditare un corso di formazione erogato da un ente certificato (nella fase di erogazione in aula al personale del laboratorio). Ho avuto occasione quindi di vedere il vero sistema di trasporto dei campioni (che non avveniva conformemente a quanto rilevato in sede di audit): si trattava infatti di un bel frigorifero da picnic! Mi sono sentita presa in giro e ha iniziato quel senso di fastidio e di "voglia di rivincita”, che mi ha portato a comprendere una verità inconfutabile: il "Sistema Certificazione” ha una falla, ma perché funzioni efficacemente forse ha bisogno di qualcosa in più!!
In questo modo il laboratorio, precisamente, non ha ingannato solo l’auditor e quindi l’ente di certificazione ma l’organismo che lo ha accreditato e soprattutto il paziente, convinto che questi riconoscimenti siano segno di affidabilità, sicurezza e qualità del servizio.
Il filosofo greco Platone disse: "Il capolavoro dell’ingiustizia è di sembrare giusto senza esserlo.”
LOGICHE CONSIDERAZIONI
Questo episodio non fa che dimostrare che esistono dei limiti negli audit tradizionali: essi non possono prescindere dalla collaborazione e correttezza dell’organizzazione sottoposta ad audit e quindi il loro risultato è strettamente correlato all’etica e onestà dell’organizzazione che riceve l’audit[1], che dovrebbe assumersi l’impegno a cooperare con gli auditor permettendo a questi ultimi una valutazione più nitida possibile. Ogni auditor, dal canto suo, si assume l’obbligo di rispettare una serie di principi e precise procedure operative[2] che vincolano e guidano il suo operato, compresa la clausola del congruo preavviso.
Il mondo "delle facili scappatoie” esiste, in qualsiasi ambito, ma non è che nel mondo della certificazione esistano solo quelli, fortunatamente. È quindi utile non demonizzare ciò che non funziona, ma cercare di correggere il tiro su ciò che invece funziona perfettamente.
Certo che in certi ambiti, in particolare in settori delicati (es. alimentare), esistono da anni gli audit Non Annunciati, ottimo sistema per poter fare una fotografia più limpida e serena del Sistema di Gestione. Ma anche quel sistema tutto sommato potrebbe mostrare qualche pecca poiché la finestra temporale utile per l’esecuzione dell’audit è conosciuta.
POSSIBILI ALTERNATIVE
Se la domanda che ci si pone è: "Come è possibile che le certificazioni possano davvero garantire la fiducia ai clienti, agli utenti di un servizio pubblico[3]?” La possibile risposta è: un Progetto di Mystery Audit, l’unico che permette di fare una fotografia della realtà senza che intervengano correzioni o abbellimenti dell’ultimo minuto.
Vediamo qualche dato
In Italia si contano 4.070 certificati ISO 9001 settore IAF 38 a marzo 2020, con una leggera flessione rispetto ai dati del dicembre 2019. La distribuzione per Regione mostra la Lombardia in testa con più di 1300 certificati, seguita dal Veneto con più di 750 certificati e la regione Sicilia che ne conta 634.
Se pensiamo a quante strutture di tipo sanitario, sociosanitario e sociale sono presenti nel territorio direi che i numeri sono ancora limitati. Se solo consideriamo che le visite di autorizzazione si svolgono ogni 5 anni e le visite di accreditamento ogni 3, è automatico concludere che atteggiamenti scorretti siano probabili. Ma dal punto di vista etico e sociale, il Mystery Audit potrebbe essere uno strumento essenziale utilizzato dal mondo pubblico per monitorare strutture che hanno una valenza strategica (dimostrato ancor di più necessario nel periodo Covid).
Cerchiamo di comprenderne qualcosa di più.
COSA E’
Il Mystery Audit è un "Audit non dichiarato e condotto in modo non riconoscibile, avente la caratteristica di simulare il comportamento e le azioni di un cliente potenziale o reale di un’organizzazione che eroga servizi, compresi eventuali prodotti associati, allo scopo di rilevare la qualità del servizio erogato”, come la definisce la norma UNI 11312-1: 2017.
Immaginatevi i Mystery Auditor come pazienti di un laboratorio di analisi cliniche, serenamente seduti ad aspettare il proprio turno in una sala d’aspetto, ma in realtà impegnati, quali auditor in incognito, a valutare una serie di parametri, nel modo più oggettivo possibile, al fine di capire in che misura il laboratorio sia efficace nel rispettare tutta una serie di requisiti, anche di legge[4]. La valutazione che può fare un mystery auditor è pulita, senza filtri, proprio perché manca l’effetto "so che devo ricevere l’audit e allora mi preparo”.
Certo, adottando il comportamento di un paziente, non sarà possibile poter ottenere evidenza della totalità degli aspetti, ma abbinare l’audit tradizionale a quello in incognito potrebbe essere davvero un ottimo ed efficacissimo sistema di verifica integrata del sistema.
COSA NON E’
I Mystery Audit non vanno confusi con la "Soddisfazione del cliente” o con la "Customer Experience”.
La Customer Satisfaction infatti è una valutazione personale dei prodotti acquistati e del servizio ricevuto da un’azienda giacché si basa su percezioni soggettive del cliente relativamente al grado in cui le proprie aspettative (esplicite e implicite) sono state soddisfatte[5]. La valutazione svolta da un Mystery Auditor, viceversa, è in realtà oggettiva, dal momento che misura il livello di servizio erogato (e la qualità di eventuali prodotti associati) sulla base di parametri "oggettivi” (stabiliti in fase di progettazione del processo di Mystery Audit).
I Mystery Audit non rappresentano nemmeno la Customer Experience (CX), che possiamo definire come "il modo in cui i clienti/consumatori/utenti percepiscono l'insieme della loro interazione con l'azienda/l’ente/l’organizzazione" [6]. Ancora una volta infatti si parla di percezione del cliente/utente del servizio e se riflettiamo sull’etimologia della parola comprendiamo quanto sia di nuovo soggettiva la modalità con cui ogni cliente/utente di un servizio acquisisce coscienza della realtà esterna attraverso i suoi sensi: gusto, olfatto, vista, tatto, udito.
POSSIBILI VANTAGGI DI UN MYSTERY AUDIT
Ma come può un Audit in incognito essere affidabile, credibile, inspirare fiducia?
Prima di tutto perché è un processo studiato e normato. Esiste infatti la norma italiana che spiega i dettagli per un efficace processo di progettazione, coordinamento, esecuzione di Mystery Audit e rielaborazione finale dei risultati, che fa esplicito riferimento alla norma ISO 19011:2018, autentico pilastro, sulla base della quale sono eseguiti gli audit di sistema. Un processo robusto e ampiamente utilizzato in tutto il mondo in tanti ambiti. Secondariamente l’attività deve essere eseguita da auditor qualificati, formati e rispettosi dei principi etici declinati dalla norma citata, la cui attività è oggetto di un monitoraggio attento e che sono invitati a firmare un codice etico e deontologico. Terzo punto a favore è che sono svolti in base ad un Progetto che prevede la costruzione dei parametri e dei relativi criteri di giudizio, accurato e preciso. L’esito a cui si deve giungere è una descrizione della realtà limpida e attendibile.
Utilizzare nel "Mondo Pubblico” strumenti come il Mystery Audit garantirebbe affidabilità e la fiducia ai cittadini, agli utenti e sarebbe una grande opportunità di crescita in un sistema paese spesso molto mal percepito dai cittadini quali fruitori dei servizi.Forse in Italia non c’è la cultura adatta quale base per permettere questa serie di controlli, in altri paesi invece la modalità del Mystery Audit è già stata utilizzata con buoni risultati[7].
IL CASE STUDY "PROGETTO MYSTERY IN SANITA’”
Applicare il Mystery Audit al mondo della sanità è davvero complesso, ma realizzabile nonostante la delicatezza necessaria nel modo di progettare, coordinare, eseguire l’attività e rendere gli elaborati finali. Alcuni mesi fa si è concluso infatti un interessante Progetto Pilota. Il Team di esperti ha mosso i primi passi cercando di coinvolgere qualche imprenditore privato, ma quando questi ultimi arrivano a comprendere come possa essere impetuoso, soverchiante questo sistema di audit, iniziano ad avere qualche incertezza, tentennamento ... Forse manca il coraggio di prendere atto di quali aspetti siano più o meno positivi nella propria organizzazione, poiché una volta ottenuti i dati, che te ne fai? Come li usi? La Confort Zone tutto sommato conviene a tutti.
Il Team successivamente ha individuato una figura forte, anche politicamente, particolarmente illuminata, che ha creduto nel progetto e che davvero desiderava migliorare il settore pubblico, in particolare la "Sanità”, capendone la valenza sociale indiscutibile.
COSTRUZIONE DEL PROGETTO
Il progetto doveva essere costruito da zero e non è stato facile alla luce delle scarse informazioni rese disponibili da parte del Committente, vi era soltanto la certezza della volontà di monitorare il servizio sanitario negli aspetti maggiormente esposti al pubblico e facile bersaglio dei detrattori del sistema sanitario pubblico.
GLI OBIETTIVI DEL PROGETTO
Gli obiettivi da cui è partito il progetto di Mystery Audit, definito in comune accordo con il committente, sono stati:
Monitorare la qualità del servizio in alcuni ospedali, osservandoli nell’ottica della "relazione con il paziente”[8], il rispetto degli standard di conformità alle norme cogenti e in generale l’efficacia ed efficienza dei processi di accoglienza dei clienti; in particolare gli ambiti che si desiderava sondare erano l’Area CUP e l’Area URP;
Raccogliere informazioni utili a comprendere lo stato attuale del servizio al paziente;
Ottenere elementi utili a replicare e/o estendere il progetto.
LA METODOLOGIA
La logica, in base alla quale è stato definito il numero di Audit da svolgere, si è basato sulla necessità di ottenere una confidenza pari al 95% dei risultati raccolti e alla opportunità di utilizzare più tipologie di audit[9].
Un accurato lavoro è stato svolto sul questionario che, per ovvie ragioni, doveva forzatamente rispondere a criteri stringenti di validità, attendibilità, ripetibilità e riproducibilità.
LA FONTE
Per la scelta delle variabili da monitorare si è fatto riferimento alla Carta Europea dei diritti del malato. Il diritto alla salute è un diritto umano fondamentale sancito dalla Costituzione e da molti atti di rilevanza internazionale. In particolare la Carta Europea sopra richiamata ha sancito un elenco di quattordici importanti diritti del paziente, dai quali siamo partiti per selezionarne alcuni ritenuti più significativi[10] (anche per rispondere ad esigenze di fattibilità e agli obiettivi del progetto).
I diritti selezionati sono stati aggregati in quattro variabili specifiche omogenee tra loro.
Variabile dell’accoglienza, ad esempio confort delle diverse aree del sito visitate;
Variabile orientamento, ad esempio le informazioni a supporto del paziente e la facilità di intercettarle;
Variabile trasparenza, ad esempio leggibilità del referto medico ricevuto;
Variabile comunicazione, ad esempio la funzionalità e facilità d’uso di APP o del sito.
GLI AUDITOR
Altra fase delicata è stata la selezione, valutazione e monitoraggio degli incaricati a cui affidare la singola attività. Sono stati scelti auditor in incognito con determinate caratteristiche di: affidabilità e professionalità, pazienti a tutti gli effetti (in possesso di impegnative fornite dal medico di base), con esperienza e capacità nell’eseguire audit e Mystery audit, sia uomini sia donne tra i 40/55 anni. Ognuno di loro ha firmato un codice etico e si è impegnato a rispettare i principi dell’audit in incognito.
Prima dell’avvio dell’attività in campo ogni auditor in incognito ha ricevuto adeguata formazione e specifiche istruzioni[11], allo scopo di renderli consapevoli degli aspetti salienti dell’incarico e di come compilare la relazione finale ed il questionario.
L’ATTIVITÀ SUL CAMPO
I Mystery Auditor avevano il compito di: recarsi in una specifica struttura (indicata nell’incarico) per usufruire dei suoi servizi; comportarsi come un normale paziente, interagendo con i professionisti e le persone che incontrava, seguendo le indicazioni di uno specifico scenario; osservare cosa accadeva attorno a lui, il luogo in cui si trovava, guardando con attenzione le modalità di erogazione del servizio; valutare ciò di cui è stato "spettatore”, secondo specifici parametri indicati nelle linee guida; rendicontare in una relazione la sua esperienza e compilare un questionario specifico.
IL RISULTATO
Un coordinatore, affidato al processo di Auditor in Incognito, ha avuto il compito di analizzare ogni questionario e report di audit, prima dell’accettazione della singola visita al fine di assicurare: congruenza della rilevazione rispetto all’incarico e scenario, congruenza tra questionario e relazione, assenza di errori nella compilazione e completezza[12].
Infine il Team di progetto ha elaborato (dopo analisi di tutti i report ricevuti), una Relazione Finale consegnata al Committente, contenente informazioni utili a comprendere l’andamento dei dati salienti rilevati sul campo e un riassunto in cui voce per voce del questionario (o aggregazioni delle domande) ha dato vita ad un grafico rappresentativo del fenomeno rilevato.
La fase di prenotazione è stata auditata secondo le quattro possibilità con le quali è possibile fissare una visita: di persona, presso un CUP; Telefonicamente; tramite uso della App dedicato o tramite sito; mail. Un dato interessante emerso è senza dubbio che circa il 33% delle prenotazioni richieste è stata rifiutata al primo tentativo.
La fase di visita è stata suddivisa nell’esposizione dei dati in cinque fasi distinte: arrivo/accesso, accoglienza, visita, obiezione[13] e APP.I risultati complessivi sono senza dubbio confortanti, ma con qualche differenza tra servizio erogato negli ospedali, nei distretti sanitari o nelle strutture convenzionate, vedendo queste ultime più in difficoltà nella presenza dei servizi essenziali e nel confort, nella personalizzazione del servizio (es. cortesia o gestione della relazione).
Una riflessione a parte merita il parametro del rispetto dei tempi, molto variabile in funzione della tipologia di servizio, ma che sommariamente ha sorpreso per essere complessivamente non del tutto negativo, ma con spazi di miglioramento.
Ultima variabile considerata è l’”Health Experience” che considera valutazione soggettive da parte del paziente. Questa mette in evidenza, ancora una volta, una certa differenza tra strutture pubbliche e convenzionate, registrando un dato più che soddisfacente nelle prime.
Il committente voleva un riassunto sintetico di quanto rilevato e quindi è stato presentato un grafico da cui emerge che le aree dove si devono concentrare gli sforzi sono la fase di prenotazione (in particolare con l’APP) e la fase di attesa.
CONCLUSIONI FINALI
Le conclusioni a cui si è potuti arrivare sono che con un Processo di Mystery Audit è possibile monitorare:
La qualità del servizio;
La relazione con il paziente;
Gli standard di conformità;
Il rispetto di norme cogenti.
Sicuramente il Progetto ha messo in evidenza come sia verosimile applicare questa metodologia al settore pubblico, in particolare a quello sanitario giacché indica come replicarlo in altre realtà. Inoltre ha dato la possibilità di constatare quali tipologia di dati è possibile raccogliere tramite la rilevazione di un Mystery Audit. Principalmente sono dati oggettivi e incontestabili grazie all’attività di progettazione del questionario e di gestione dei dati.
Le misure che si possono ottenere sono indispensabili per analizzare trend e definire azioni di miglioramento quale percorso innovativo di eccellenza e del vero miglioramento continuo.
POSSIBILI PROPOSTE
Sarebbe una buona occasione valutare l’opportunità di inserire nei requisiti di accreditamento Regionali anche alcuni dati legati a rilevazioni di Mystery Audit. Il Sistema di Accreditamento diventerebbe senza dubbio più oggettivo e Evidence-Based.
Sarebbe senza dubbio importante supportare le diverse strutture sanitarie affinché riescano a realizzare Progetti di Mystery Audit, al fine di avviare Piani di miglioramento mirati.
Ma per arrivare a questo traguardo è importante formare il personale dedicato nella progettazione e coordinamento di progetti Mystery Audit.
Sarebbe una buona occasione valutare l’opportunità di inserire nel tempo questo metodo di raccolta dati anche in altre tipologie di servizi (pensiamo al servizio di formazione, il trasporto, servizi pubblici in genere).
QUALI VANTAGGI PORTEREBBE AD UNA SINGOLA STRUTTURA
Quali vantaggi potrebbe ottenere una singola struttura che dovesse avviare un Processo di Mystery Audit?
Otterrebbe senza dubbio informazioni di benchmarking, quindi la possibilità di vedere la propria struttura con l’occhio del paziente, riuscendo così ad avere la reale percezione del proprio servizio ed effettuare un benchmarking tra le varie strutture sanitarie;
Avrebbe la possibilità di migliorare la relazione con il paziente, favorendo un miglioramento nelle prestazioni del personale che sa di essere osservato e valutato obiettivamente;
Contribuirebbe a formare il personale, informandolo attraverso sessioni specifiche, sulle individuate esigenze e le attese del paziente, oltre ad eventuali carenze nel servizio;
Aumenterebbe la consapevolezza del personale, migliorando le singole soft skill e rendendo consapevole il personale della soddisfazione del paziente grazie al report dei risultati ottenuti.
Tutto questo otterrebbe il traguardo di ottimizzare il servizio.
QUALI VANTAGGI PORTEREBBE ALLA REGIONE
Ma per la Regione quali sarebbero i possibili vantaggi? A titolo di esempio:
Raccolta di dati strutturati per poter misurare alcune dimensioni della qualità del servizio in modo puntuale e preciso;
Analisi dei dati (con pesi specifici) per individuare aspetti che necessitano prioritariamente di intervento al fine di migliorare le erogazioni pubblici;
Scelta tra le alternative possibili, del Piano di miglioramento più efficiente da intraprendere sempre nell’ottica del paziente;
Misura del miglioramento delle prestazioni a vantaggio dei pazienti, tramite opportuni indicatori definibili già nel progetto di audit in incognito
Un sistema più oggettivo e non attaccabile di selezione dei partner per l’erogazione del servizio al paziente.
Inoltre i risultati delle rilevazioni potrebbero diventare un sistema premiante delle strutture più virtuose, secondo il quale affidare maggior budget (e quindi maggiori prestazioni) alle strutture che dimostrano maggiori capacità.
Crediamo infatti che per che questo sia un percorso che la potenzialità di accrescere la fiducia da parte delle parti interessate nel Servizio erogato dal settore pubblico e usufruito dai pazienti, ma più in generale, dai cittadini.
Sosteniamo queste iniziative per il bene di tutti, Grazie.
Buon Mystery Audit a tutti!
Monica Tomasella, Vicepresidente dell’Associazione Mystery Auditing Italia
Hanno collaborato: Marzia Monacelli e Alessandra Papale Comitato Sviluppo e Innovazione, Marco Piccirilli Comitato Etico
------------------------------ [1] Si pensi che alcuni Organismi di Certificazione puntualizzano questo aspetto nel report di audit quale assunzione di responsabilità dell’organizzazione auditata, vincolandone i risultati ottenuti. [2] Si pensi che alcuni Organismi di Certificazione puntualizzano questo aspetto nel report di audit quale assunzione di responsabilità dell’organizzazione auditata, vincolandone i risultati ottenuti. [3] Frutto di un accordo anche contrattuale tra il committente e l’organizzazione sottoposta ad audit. [4] In particolar modo se erogati da un soggetto che ha dei legami economici con il mondo pubblico. [5] Requisiti sia di tipo organizzativo-procedurale ma anche strutturale. [6] Si rimanda a "Outside In”, H.Manning, K. Bodyne, 2012, Forrester Research.
[7] L’articolo "The mystery shopper: a tool to measure public service delivery?” (autori Steve Jacob -Lavai University, Canada - Nathalie Schiffino - Université catholique de Louvain, Belgium – e Benjamin Biard - Université catholique de Louvain, Belgium- Pubblicato da lnternational Review of Administrative Sciences) ha raccontato l’esperienza nel settore pubblico della metodologia del Mystery Audit, utilizzata anche in paesi in Europa quali Inghilterra, Francia, Olanda, Belgio, Svizzera e perfino Serbia ma anche a livello internazionale come USA in testa, Neozelanda e Australia.
[8] Comunicazione, attenzione, proattività, informazioni utili
[9] Si è partiti dal dato complessivo dal numero di prestazioni complessive della provincia selezionata, in base al quale abbiamo calcolato la numerosità del campione. Le tipologie di audit in incognito possono consistere in Mystery Web (quando si naviga in incognito visitando i siti internet e usufruendo di particolari APP), Mystery calling prevede una chiamata telefonica, Mystery Mail consiste nell’interazione tramite mail con una persona al fine di ricevere un servizio, Mystery Visita prevede l’usufruire di una prestazione sanitaria in modalità incognito.
[10] La Carta ne elenca 14, cioè il Diritto di misure preventive, all’accesso, alle informazioni, al consenso, alla libera scelta, alla privacy e alla confidenzialità, al rispetto del tempo dei pazienti, al rispetto di standard di qualità, alla sicurezza, all’innovazione, a evitare le sofferenze e il dolore non necessari, a un trattamento personalizzato, al reclamo per terminare con il Diritto al risarcimento.
[11] Definiti nei diversi incarichi e scenari ricevuti.
[12] In caso di esito negativo è stata avviata una richiesta di integrazione e riesame, con successiva nuova validazione.
[13] L’obiezione è un’affermazione/dubbio/domanda sottoposta al personale dell’organizzazione svolta con l’obiettivo di valutare come il personale reagisce ad un sollecito, verificare la reattività e la pertinenza della risposta.