El Colegio Menor de San José o de Clérigos Menores es conocido como Colegio de Caracciolos por haber sido fundado, el año 1508, por el que más tarde sería conocido como San Francisco Caracciolo, para albergar en él a los novicios que formaban parte de su orden.
A lo largo de su historia ha tenido hasta tres emplazamientos diferentes, hasta que en el año 1604 se trasladó definitivamente a la calle de la Trinidad. Fue clausurado el año 1836 y, posteriormente, convertido primero en cárcel y luego en servicio de intendencia militar.Destacar la fachada barroca de su iglesia. Resalta su altura y las curiosas pinturas en trampantojo imitando arquitectura. La hermosa portada, con pilastras a cada lado, está rematada por una hornacina en cuyo interior se encuentra una estatua de San José. El interior, que actualmente se está restaurando, es de gran amplitud y tiene, incluso, trascoro. La cúpula, que quedó
destruída en un incendio producido en 1966, también está siendo restaurada.
Cuenta, además, en la parte del edificio que fue colegio, con dos patios interiores con arcos de ladrillo y en cuyo centro hay una escalera de tipo imperial rematada con una cúpula ovalada. A esta parte del conjunto, realizada fundamentalmente en ladrillo, se accede a través de una portada de piedra almohadillada.
También llama la atención la parte recuperada de la antigua bóveda barroca que da acceso a la biblioteca.
