Il castello fu edificato sulla collina del Castellaro in epoca incerta. Il primo documento in cui viene citato risale al 1121 o al 1122. Si suppone, però, che l'edificazione di un primo fortilizio sia anteriore a tale data e forse risalga all'epoca romana o preromana (il nome "castellaro" indica spesso insediamenti di tribù Liguri).

 

Il castello fu al centro delle lotte di dominio tra la Repubblica di Genova e Savona e furono proprio i Genovesi ad espugnare il maniero dopo un lungo assedio nel 1227, anche a causa della resa del castello di Stella collegato strategicamente ad Albisola.

 

A seguito della sottomissione di Savona nei confronti di Genova, nel 1251, le proprietà terriere di Albisola, e quindi anche il castello, passarono sotto il controllo genovese. Oggetto di interventi di rafforzamento durante il XVII secolo per adattarlo alle nuove armi da fuoco, fu abbandonato definitivamente nel 1805.

 

L'aspetto attuale è il risultato degli ultimi ammodernamenti effettuati nel corso del XVII e XVIII secolo. Si conservano quasi per intero le mura perimetrali che ricordano nella forma il profilo di una nave con la prua rivolta a nord ovest. Il fortilizio si sviluppa su due livelli diversi, di cui la "prua" risulta essere il più alto.

 

Raggiungibile da un sentiero pedonale che si diparte nei pressi della sottostante chiesa di San Nicolò, ha l'ingresso posto sul lato est. Sotto di esso una grotta artificiale costituisce quella che un tempo doveva essere la polveriera.

 

Una tradizione orale locale vuole che esista un passaggio sotterraneo tra il Castellaro e i ruderi della villa romana di Alba Docilia, posti davanti all'attuale stazione ferroviaria. Non si tratta solo di una "tradizione " orale locale ma di testimonianze orali riportate da chi aveva percorso per lungo tratto quel tunnel, importantissimo per una fortificazione posta a guardia delle valli del Riobasco e del Sansobbia. Successivamente con la costruzione delle nuove vie di comunicazione, ferroviaria prima e autostradale (A10) poi, sicuramente il tunnel divenne inservibile e ostruito nella sua parte finale.