Le sue origini si intersecano con la nascita dell’Accademia del disegno, che intorno alla seconda metà del XVI secolo aveva sede nel Convento degli Olivetani a Montemorcino, nella quale vennero raccolti una prima parte di disegni e dipinti.
A causa della soppressione degli ordini religiosi imposta dapprima dall’Impero napoleonico e poi dal Regno d’Italia, tra la fine del XVIII secolo e la metà del XIX, il materiale raccolto aumentò notevolmente in quanto le opere artistiche di maggior pregio passarono in proprietà allo Stato, andando così ad integrare (quando non furono disperse tra i musei di tutto il mondo) la raccolta dell’Accademia.

Nel 1863 fu istituita una pinacoteca civica intitolata a Pietro Vannucci, ma il problema a quel punto era quello di trovare una sede adeguata per tutto il materiale raccolto.
Nel 1878 la pinacoteca lasciò la vecchia sede dell’Accademia e fu trasferita al terzo piano del palazzo dei Priori.
Ampliata con acquisti e donazioni, nel 1918 assunse la denominazione di Regia Galleria Vannucci. Nel corso degli anni sono stati ricavati nuovi spazi espositivi, concessi in uso dal Comune e l’esposizione museale odierna è organizzata in sequenza cronologica e articolata per scuole.