Nel 1597 il vescovo Placido Della Marra fece pubblicare delle Regole che i seminaristi dovevano seguire, come uscire dal seminario solo accompagnati e vestiti di nero, appena svegli e prima di andare a dormire recitare le preghiere quotidiane e avere a disposizione due ore di ricreazione al giorno.

Il 1500 è stato un periodo storico di forti conflitti dal punto di vista
religioso, poiché ci fu l’affermazione del protestantesimo che veniva visto come una minaccia dal cattolicesimo date le diverse ideologie. Questo fece si
che aumentò la necessità di istruire i giovani al mondo ecclesiastico.

Purtroppo le speranze di Della Marra di veder fiorire il seminario svanirono a causa delle scarse entrate che rendevano difficile la sua sopravvivenza. Ed è qui che torna il nome di Caraffino.

Nel 1623 il seminario era chiuso da ormai 25 anni, ma lui riuscì a risanare la situazione economica del seminario assicurando la sua stabilità.

Nel 1626, anno in cui venne eletto vescovo Diodato Scaglia, venne stipulata una vertenza tra l’abbazia di Sant’Angelo in Vulture e la diocesi che affermava che l’abbazia avrebbe dovuto versare una tassa alla diocesi, che serviva per il
mantenimento del seminario.

Fino al 1656 le cose sembrano procedere per il meglio, ma arrivò un’altra minaccia a mettere a rischio la sopravvivenza dell’edificio: la peste. Miracolosamente il
seminario riuscì ad uscirne illeso e si ripopolò di giovani seminaristi.

Dal 1800 a seguito dell’Unità d’Italia il palazzo venne dato in concessione allo Stato fino alla fine del 1900 in coerenza le sue origini legate alla formazione, è stato destinato a scuole, infatti ancora oggi i Melfitani che sono ospiti raccontano dove erano ubicate le aule, la direzione, la mensa e gli
ambienti comuni.