"Crowd-work" è un termine spesso adottato per identificare sistemi di rete che possono essere utilizzati per la soluzione di una vasta gamma di problemi complessi grazie all'integrazione di un gran numero di sforzi umani e/o informatici. Tra i diversi tipi di sistemi di crowd-work che sono già operativi in Internet, un grande sforzo di ricerca è stato dedicato a caratterizzare le prestazioni dei sistemi di crowd-work basati su microtask. La caratteristica principale di questi sistemi è che un richiedente struttura il suo problema in una serie di compiti, e quindi assegna tali compiti ai lavoratori, le cui risposte vengono poi utilizzate per determinare la soluzione corretta del problema attraverso una regola di decisione. Un esempio ben noto di tali sistemi è Amazon Mechanical Turk, che consente l'impiego di un gran numero di lavoratori a basso salario per compiti che richiedono intelligenza umana. Taluni credono che i sistemi di crowd-work basati su microtask forniranno un significativo nuovo paradigma di organizzazione del lavoro, e impiegheranno in futuro un sempre crescente numero di lavoratori, a condizione che le principali sfide legate a questo nuovo tipo di organizzazione siano correttamente affrontate.
Dal momento che l'esecuzione dei compiti è tipicamente noiosa, e la ricompensa economica per i lavoratori è piuttosto esigua, i lavoratori non sono affidabili al 100%, nel senso che essi possono fornire risposte errate. Pertanto, in gran parte dei casi pratici, lo stesso compito viene assegnato a diversi lavoratori, e poi una regola di decisione a maggioranza viene applicato alle loro risposte. Un naturale compromesso tra l'affidabilità della decisione e il costo si pone; anzi, aumentando il fattore di replicazione di ogni compito, in genere aumenta il grado di affidabilità della decisione finale circa la soluzione del problema, ma necessariamente si sostengono costi più elevati. Per ridurre al minimo i costi, l'assegnazione dei compiti ai lavoratori (o, equivalentemente, dei lavoratori ai compiti) è di importanza fondamentale per le prestazioni del sistema. Di conseguenza, una forma affidabile di reputazione del lavoratore svolge un ruolo essenziale nella ottimizzazione dei sistemi di crowd-work basati su microtask.
L'obiettivo del nostro lavoro è quello di fornire la prima analisi sistematica dei potenziali benefici derivanti da una qualche forma di conoscenza a-priori circa la reputazione dei lavoratori. Con questo obiettivo in mente, per prima cosa si è provveduto a definire e analizzare il problema dell'assegnazione dei compiti quando le stime di reputazione dei lavoratori siano disponibili. In particolare, si suppone che i lavoratori disponibili siano suddivisi in classi, ciascuna delle quali rappresenta un livello di affidabilità differente. In base a tale ipotesi, si dimostra che in alcune condizioni, si può definire un algoritmo di assegnazione dei compiti greedy con garanzie formali di prestazione. Inoltre, proponiamo due regole di decisione diverse. La prima (regola di decisione MAP) è ottimale se le stime di reputazione dei lavoratori sono perfette. La seconda (algoritmo di message-passing) è un algoritmo iterativo che è in grado non solo di utilizzare stime imperfette di reputazione dei lavoratori, ma anche di affinare tali stime sulla base delle risposte fornite.
I nostri risultati principali sono:
o anche stime largamente imprecise della reputazione dei lavoratori possono essere efficacemente utilizzate nell'assegnazione dei compiti per migliorare notevolmente le prestazioni del sistema;
o le prestazioni della regola di decisione MAP degradano rapidamente se le stime della reputazione dei lavoratori diventano imprecise;
o quando la reputazione stimata dei lavoratori è significativamente inesatta, le migliori prestazioni si possono ottenere combinando il nostro algoritmo di assegnazione dei compiti con l'algoritmo di message-passing;
o non vi è alcuna necessità di un gran numero di classi di affidabilità, dal momento che una quantizzazione grossolana delle reputazioni individuali garantisce già gran parte del relativo guadagno.
Per maggiori dettagli: A. Tarable, A. Nordio, E. Leonardi, M. Ajmone Marsan, "The Importance of Worker Reputation Information in Microtask-Based Crowd Work Systems", IEEE Transactions on Parallel and Distributed Systems, vol. 28, no. 2, pp. 558-571, February 2017.
Focus