Consiglio Nazionale delle Ricerche

Tipo di prodottoContributo in atti di convegno
TitoloThe importance of being earnest in crowdsourcing systems
Anno di pubblicazione2015
Formato
  • Elettronico
  • Cartaceo
Autore/iAlberto Tarable, Alessandro Nordio, Emilio Leonardi, Marco Ajmone Marsan
Affiliazioni autoriAlberto Tarable: CNR-IEIIT, Torino, Italy Alessandro Nordio: CNR-IEIIT, Torino, Italy Emilio Leonardi: DET, Politecnico di Torino, Torino, Italy Marco Ajmone Marsan: DET, Politecnico di Torino, Torino, Italy
Autori CNR e affiliazioni
  • MARCO GIUSEPPE AJMONE MARSAN
  • EMILIO LEONARDI
  • ALESSANDRO NORDIO
  • ALBERTO TARABLE
Lingua/e
  • inglese
AbstractThis paper presents the first systematic investigation of the potential performance gains for crowdsourcing systems, deriving from available information at the requester about individual worker earnestness (reputation). In particular, we first formalize the optimal task assignment problem when workers' reputation estimates are available, as the maximization of a monotone (submodular) function subject to Matroid constraints. Then, being the optimal problem NP-hard, we propose a simple but efficient greedy heuristic task allocation algorithm. We also propose a simple "maximum a-posteriori" decision rule. Finally, we test and compare different solutions, showing that system performance can greatly benefit from information about workers' reputation. Our main findings are that: i) even largely inaccurate estimates of workers' reputation can be effectively exploited in the task assignment to greatly improve system performance; ii) the performance of the maximum a-posteriori decision rule quickly degrades as worker reputation estimates become inaccurate; iii) when workers' reputation estimates are significantly inaccurate, the best performance can be obtained by combining our proposed task assignment algorithm with the LRA decision rule introduced in the literature.
Lingua abstractinglese
Altro abstract-
Lingua altro abstract-
Pagine da2821
Pagine a2829
Pagine totali9
Rivista-
Numero volume della rivista-
Serie/Collana-
Titolo del volume-
Numero volume della serie/collana-
Curatore/i del volume-
ISBN-
DOI10.1109/INFOCOM.2015.7218675
Editore-
Verificato da refereeSì: Internazionale
Stato della pubblicazionePublished version
Indicizzazione (in banche dati controllate)-
Parole chiaveCrowdsourcing systems
Link (URL, URI)-
Titolo convegno/congressoIEEE Conference on Computer Communications (INFOCOM)
Luogo convegno/congressoHong Kong
Data/e convegno/congressoApril 26 - May 1 2015
RilevanzaInternazionale
RelazioneContributo
Titolo parallelo-
Note/Altre informazioni-
Strutture CNR
  • IEIIT — Istituto di elettronica e di ingegneria dell'informazione e delle telecomunicazioni
Moduli CNR
  • ICT.P07.005.001 : Reti wireless integrate per accesso ad alta velocita'
Progetti Europei-
Allegati