Il castello sorge su un basso sperone roccioso ad ovest del borgo marinaro in una suggestiva cornice paesaggistica. Costruito nel XVI secolo dagli abitanti del paese attorno ad una antica torre di avvistamento è stato oggetto di successivi interventi in epoche diverse che non ne hanno modificato sostanzialmente la struttura. Il complesso si sviluppa su due livelli: quello superiore, più antico, con la torre a due piani e quello inferiore a pianta pentagonale con tre torrette circolari agli angoli. Oggi è gestito dal Polo Museale della Liguria e, dopo recenti restauri, ospita mostre temporanee e manifestazioni culturali.