Consiglio Nazionale delle Ricerche

Tipo di prodottoArticolo in rivista
TitoloGlobal optimization issues in deep network regression: an overview
Anno di pubblicazione2019
Formato
  • Elettronico
  • Cartaceo
Autore/iPalagi, Laura
Affiliazioni autoriSapienza Univ Rome
Autori CNR e affiliazioni
  • LAURA PALAGI
Lingua/e
  • inglese
AbstractThe paper presents an overview of global issues in optimization methods for training feedforward neural networks (FNN) in a regression setting. We first recall the learning optimization paradigm for FNN and we briefly discuss global scheme for the joint choice of the network topologies and of the network parameters. The main part of the paper focuses on the core subproblem which is the continuous unconstrained (regularized) weights optimization problem with the aim of reviewing global methods specifically arising both in multi layer perceptron/deep networks and in radial basis networks. We review some recent results on the existence of non-global stationary points of the unconstrained nonlinear problem and the role of determining a global solution in a supervised learning paradigm. Local algorithms that are widespread used to solve the continuous unconstrained problems are addressed with focus on possible improvements to exploit the global properties. Hybrid global methods specifically devised for FNN training optimization problems which embed local algorithms are discussed too.
Lingua abstractinglese
Altro abstract-
Lingua altro abstract-
Pagine da239
Pagine a277
Pagine totali39
RivistaJournal of global optimization
Attiva dal 1991
Editore: Kluwer Academic Publishers - Boston
Paese di pubblicazione: Paesi Bassi
Lingua: inglese
ISSN: 0925-5001
Titolo chiave: Journal of global optimization
Titolo abbreviato: J. glob. optim.
Numero volume della rivista73
Fascicolo della rivista2
DOI10.1007/s10898-018-0701-7
Verificato da refereeSì: Internazionale
Stato della pubblicazionePublished version
Indicizzazione (in banche dati controllate)
  • ISI Web of Science (WOS) (Codice:000457860400001)
  • Scopus (Codice:s2.0-85053457125)
Parole chiaveSupervised learning, Deep networks, Feedforward neural networks, Global optimization, Weights optimization, Hybrid algorithms
Link (URL, URI)-
Titolo parallelo-
Licenza-
Scadenza embargo-
Data di accettazione-
Note/Altre informazioni-
Strutture CNR
  • IASI — Istituto di analisi dei sistemi ed informatica "Antonio Ruberti"
Moduli/Attività/Sottoprogetti CNR
  • DIT.AD021.027.001 : OPTIMA - Ottimizzazione, Matematica Discreta e Applicazioni per la Società e l'Industria
Progetti Europei-
Allegati