Il castello di San Terenzo si erge su uno sperone roccioso chiamato La Bastia, che si eleva a circa 15 m dal livello dell'acqua, sull'estremità occidentale della baia antistante il paese. Costruito dagli abitanti del paese attorno a un'antica torre di avvistamento è stato oggetto di successivi interventi in epoche diverse che tuttatavia nulla hanno tolto all'armonia dell'insieme. Attualmente si presenta con una struttura a pianta pentagonale con tre torrette circolari agli angoli che guardano il paese, robuste cortine che racchiudono una seconda cinta interna, l'ingresso e un torrione a base quadrangolare con merli piatti e beccatelli a sezione quadrata. Ci si arriva da piazza Brusacà percorrendo via Meneghetti e poi la salita che porta all'entrata del fortilizio. Inizialmente era solo un'unica torre quadrata e merlata, alta una decina di metri, ma in tempi successivi fu aggiunta una seconda cinta di mura dal profilo di un pentagono irregolare e dotata su tre angoli di altrettante vedette a pianta circolare. Verso terra un enorme barbacane rinforzava il muro di fronte al fossato; ora il fossato è stato riempito ma una feritoia dal baluardo nord ne denuncia l'antica presenza. Il castello nel corso dei secoli assolse alla funzione di difesa del borgo dagli attacchi provenienti dal mare e poi, in epoca più recente, quella di complemento difensivo della più imponente fortezza di Lerici per il controllo di un buon tratto dell'ampia baia. Fra i primi castellani vi fu Giovanni da Mongiardino che, già castellano di Lerici (1401), vi si insediò al comando di otto balestrieri. Venne in seguito sostituito dal santerenzino Giacomo Rossi che combattè contro i pisani ricevendo l'elogio di Simon Boccanegra nel periodo in cui il castello apparteneva al sistema difensivo apprestato dalla Repubblica di Genova nel golfo della Spezia.