L’edificio che oggi ospita il Museo, attiguo alla chiesa costruita dai Gesuiti tra il 1719 e il 1740 in onore di San Francesco Saverio, è sorto tra il 1746 e il 1755 su progetto dell’architetto Alfonso Torregiani (1682-1764) come “Collegio” dei Gesuiti.

La forma planimetrica del complesso segue uno schema costruttivo tipico dell’architettura gesuitica: un corpo a forma di U addossato al fianco della chiesa, con un corridoio che gira sui tre lati interni, permettendo l’accesso a tutti i vani.

Nel 1773, con la soppressione dei Gesuiti, il “Collegio” passò al Seminario vescovile che nel 1796 lo vendette ai Domenicani: anche questo Ordine venne revocato pochi mesi dopo.

Dal 1797 al 1977 fu utilizzato come Ospedale, prima militare e poi civile, subendo molte trasformazioni funzionali.

I bombardamenti dell’ultima guerra hanno gravemente danneggiato l’intera struttura. Il restauro, condotto dall'architetto Pier Luigi Foschi, ha riproposto la suggestione degli antichi spazi, oggi adibiti a sale espositive del Museo della Città.

L'Obiettivo principe del Museo è quello di 'illustrare' o 'dimostrare' compiutamente la storia e lo svolgimento culturale della città e del suo territorio; ambisce infatti ad essere punto di riferimento per ogni operazione intesa ad un corretto recupero della memoria storica cittadina, conserva ed offre, concatenate per quanto possibile, alcune testimonianze importanti che le vicende storiche hanno ormai avulso dal contesto naturale.

Testimonianze spesso indispensabili, comunque uniche per la comprensione dell'arte e della cultura figurativa riminesi, che in alcuni casi trascendono l'interesse meramente locale per il loro grande significato poetico, oltre che storico, e per questo sono universalmente note.