Les col.leccions de la Diputació, pròpiament s'havien iniciat al començament dels anys seixanta, quan s'adquiriren a les germanes de l'escultor Julio Antonio totes les obres que conservaven de l'artista. A partir d'aquesta data i amb l'assessorament del director de l'Escola d'Art de Tarragona, Lluís M. Saumells, es comprar les col.leccions d'obres dels escultors Santiago Costa i Vaqué, i Salvador Martorell i Ollé, i les de pintura de Josep Sancho i Piqué.
També des de l'any 1943, durant un temps anualment i després cada dos anys, la Diputació convocava els premis d'escultura Julio Antonio i els de pintura Josep Tapiró, i es reservava la propietat de les obres premiades. Algunes d'aquestes obres foren deixades en qualitat de dipòsit a d'altres entitats i, en una ocasió, venudes sense que n'hàgim sabut el motiu. Amb tot, gran part dels premis han estat exposats a les dependències de la Diputació. L'any 1976, arran del trasllat de l'Escola Taller d'Art des de l'antiga seu del carrer de Santa Anna a les noves dependències de Sant Pere Sacelades, es disposà d'una part de la Casa Martí que fins aleshores havia acollit l'esmentada Escola.
La Casa Martí
Aquest edifici, en el seu estat actual, és fruit de la unió de tres antigues cases de la part alta de la ciutat. La primera, havia estat propietat del Col.legi Jesuític dels Sants Reis, de Tarragona. Incautada per la Corona a la Companyia després de l'expulsió dels jesuïtes l'any 1767, fou comprada per Antoni Martí i Gatell, el 1772, a la Junta Municipal encarregada de vendre els béns dels esmentats religiosos a Tarragona. El nou propietari, després d'haver-la millorada, hi establí la seva residència l'any 1781. També habità aquesta casa l'il.lustre científic altafullenc Antoni Martí i Franquès, fill de Martí i Gatell, que visqué a la nostra ciutat des de l'any 1798 fins la seva mort, esdevinguda el 1832. A la dinovena centúria, el nét de Martí i Gatell, Gaietà Martí i Veciana, comprà dues cases veïnes, els anys 1838 i 1857 i procedí tot seguit a l'ampliació i restauració del primitiu casal. Les obres foren enllestides al començament dels anys seixanta de la centúria passada.
A partir de l'any 1976 i aprofitant l'espai utilitzable que oferia la casa, s'iniciaren les primeres activitats amb vista a la creació d'un nou Museu per a la ciutat. En primer lloc, calia fer l'inventari de tot allò de què es disposava, seleccionar les peces més interessants i exposar-les.
Per manca d'espai, la zona dedicada a l'exposició permanent resultava petita; tanmateix, s'hi celebraren tota una sèrie d'exposicions temporals la qual cosa ajudava, més a més, a apropar la gent al Museu.
L'any 1983, la Diputació adquirí l'immoble del carrer de Santa Anna, i dos anys després s'encarregà a l'arquitecte Jaume Mutlló i Pàmies el projecte d'adequació de l'edifici.
Arxiu Fotogràfic
La primera sèrie de fotografies que s'incorporà a l'Arxiu Fotogràfic és la col.lecció que la Diputació de Tarragona encarregà l'any 1929 als fotògrafs Pere Català i Pic, i Hermenegild Vallvé i Vilallonga per a ser presentades a l'Exposició Internacional de Barcelona d'aquell any dins la Secció "Monumentos de España". Després es recuperaren les diferents sèries que s'havien presentat als concursos que la Diputació organitzà la dècada dels anys seixanta i setanta. I és a partir d'aleshores que, mitjançant compra i donacions, s'incrementà aquest arxiu.
L'any 1989, ingressaren, en qualitat de dipòsit, una col.lecció de disset daguerreotips i tres-cents clixés de vidre.
Biblioteca
Des de la seva fundació s'ha especialitzat en art dels segles XIX i XX, principalment al que es referent a l'àmbit català.
A més del fons pròpiament de llibres s'ha intentat recuperar tots els catàlegs de les exposicions "Nacionales de Bellas Artes" i les de Belles Arts de Barcelona.
També es compta amb un important nombre de revistes d'art, tant les de curs actual com les més destacades aparegudes els darrers anys del segle passat i primers del present.
El Museu d'Art Modern connectant amb les inquietuds d'avui, ha creat un Fons de Documentació, principalment provinent d'aquelles activitats relacionades amb les arts plàstiques i que han estat promogudes per la Diputació.
Igualment té publicacions pròpies mitjançant les quals pretén donar a conèixer no sols el seu fons sinó també les activitats dels artistes del nostre temps.
I, finalment, organitza, amb la col.laboració d'altres entitats, exposicions temporals, tant per a recuperar la memòria visual més pròxima com cara al futur que, amb el seu treball, ens van obrint els artistes contemporanis.
