Il palazzo domina dall'alto, a più di cento metri, la parte costiera di Vasto, come un monolite in pietra chiara squadrata. Posto dietro alla Cattedrale e al confine delle due zone della città vecchia, quella di fondazione romana e quella cresciuta durante il Medioevo, il palazzo venne fondato dal condottiero e signore del Vasto, Giacomo Caldora, forse negli anni Venti del Quattrocento. Dell'aspetto originario resta ben poco, se non l'impianto strutturale con il grande cortile centrale, e qualche traccia nel tessuto murario esterno, due per tutte sono la bifora e i resti del portale durazzesco, che testimoniano l'eleganza degli apparati architettonici e decorativi. Passata la signoria ai Guevara, che forse terminarono la costruzione, soprattutto nella parte verso il mare, nel 1496 il dominio entrò in mano dei D'Avalos, che ne fecero per tre secoli, oltre che luogo di residenza, sede delle magistrature cittadine. L'evento più gravoso fu l'invasione turca del 1566, che approfittando dell'assenza del marchese Francesco Ferdinando, dimorante a Palermo dopo la nomina a Vicerè di Sicilia, saccheggiò Vasto e danneggiò il palazzo. La moglie, Isabella Gonzaga, figlia del duca di Mantova, dopo la morte del consorte, a partire dal 1573, avviò i lavori di consolidamento e ricostruzione, che non terminarono prima dell'inizio del secolo seguente. Il secolo d'oro del palazzo fu però il Settecento: i nuovi signori della famiglia dei Lante della Rovere ne arricchirono gli appartamenti e vi impiantarono una piccola ma vivace corte. Con l'invasione francese, la residenza inizia il suo declino e nel corso dell'Ottocento diversi ambienti vengono abbattuti o destinati agli usi più vari. A partire dagli anni Settanta del Novecento, Palazzo D'Avalos, inizia un graduale percorso di recupero. Oggi è sede delle collezioni di arte e archeologia della città. La pinacoteca è sita nelle ale orientale e meridionale del primo piano del palazzo ed ospita opere di Donnini, Moccioli, Michetti, Brill e Palizzi.

La collezione archeologica, suddivisa in cinque sale, comprende reperti dall'età del Ferro all'alto Medioevo che testimoniano lo sviluppo dell'area frentana e della città di Histonium (l'antica Vasto).

Nella prima sala sono esposti i reperti dal X secolo al I secolo a.C.: corredi funerari delle necropoli del Tratturo e di Villalfonsina, terrecotte votive dei santuari di Villalfonsina e Punta Penna, una raccolta d bronzetti e una numismatica.

La seconda sala è dedicata allo sviluppo della città di Histonium nella prima età imperiale (I secolo a.C.): sono esposti ritratti della gens giulio-claudia, sarcofagi e anfore.

La terza sala riguarda l'espansione di Histonium nella piena età imperiale (I-II secolo d.C.): si conservano reperti dell'anfiteatro, degli acquedotti, delle cisterne e di un complesso termale mosaicato; sono inoltre esposti lucerne, mattoni bollati e un busto di donna di ottima fattura.

Nella quarta sala si trovano i corredi funerari provenienti dalle più importanti necropoli cittadine: l'area di Largo barbacane, il palazzo del municipio, il Castello Caldoresco.

Nell'ultima sala si trovano attestazioni della tarda antichità e dell'Alto Medioevo: epigrafi, monete e un ciborio proveniente da una chiesa vastese del VII secolo.