Il primo a concepire una Biblioteca Pubblica a Taranto fu Tommaso Niccolò D’Aquino (1665-1721) che per amore del sapere mise a disposizione degli studiosi tarantini tutti i suoi libri.
Un secolo dopo nel 1797, l’arcivescovo di Taranto Giuseppe Capecelatro, istituì vantandosi di essere primus Tarenti, una pubblica biblioteca ospitandola nei locali dell’Episcopio, ma la prima vera e propria biblioteca fu istituita dall’erudito notaio e poeta Gaetano Portacci nella seconda metà dell’Ottocento.
Con la morte di Gaetano Portacci e dopo un breve periodo sotto la direzione di Giuseppe Galasso, la biblioteca scompare. Il 26 febbraio 1891 muore Pietro Acclavio che nel suo atto testamentario destina alla città di Taranto tutto il patrimonio della sua biblioteca.
L’apporto di questa donazione modificò talmente la fisionomia della biblioteca che prese il nome di Pietro Acclavio e si parlò di una rifondazione della stessa.
Il prestigio della biblioteca si afferma pienamente con la nomina a direttore di Vito Forleo nel 1910, che resta in carica fino al 1949.
L’attuale sede, individuata come Palazzo della Cultura, è stata inaugurata nel 1997.
Grazie al finanziamento regionale ‘Community library’ nel 2020 la sede della biblioteca è stata completamente rinnovata.