Il complesso monastico di "San Francesco", attuale palazzo comunale, è stato abitato tra il 1304 ed il 1809 dai Padri Francescani Conventuali . Essi ebbero il possesso nel 1304 sull'orto del "Colombo" da Filippo, principe di Taranto e di Ostuni, e realizzarono quindi dapprima la chiesa di San Francesco, successivamente il castello per loro dimora, formando un unico edificio grandioso e lontano dalla semplicità delle costruzioni dei Frati Spirituali.

Il monastero non è stato solo luogo di preghiera e vita spirituale, ma si è definito nel corso dei secoli, come attivo centro economico. Infatti i padri possedevano un gran numero di terre messe a coltura e masserie le cui derrate alimentari venivano conservate nella parte bassa della struttura, detta mezzana, che era costituita da due zone distinte: le "posture" e i "cellai".

Il piano superiore del monastero era detto "piano nobile" ed in esso si trovavano le celle dei Padri: si trattava di celle larghe e spaziose, non isolate l'una dall'altra ma che comunicavano attraverso un sistema di porte e davano sui loggioni posti sulla facciata retrostante. Altro elemento importante era rappresentato dal chiostro, cortile del convento, circondato dal portico nel quale si trovavano i frati in alcuni momenti della giornata; il chiostro svolgeva anche la funzione di lazzaretto, in collegamento con il piccolo ospedale del paese nei periodi di gravi epidemie. Il Monastero, abitato dai frati fino al 1809, dopo la soppressione napoleonica dei beni ecclesiastici, divenne la casa municipale di Ostuni ad opera dei sindaci Francesco Paolo Ayroldi e Paolo Tanzarella.

Il progetto per la trasformazione del complesso in casa municipale venne redatto nel 1863 dagli architetti Domenico Ciraci, Ferdinando Ayroldi e Nicola De Anna.