Sulla cima del ripido sperone di roccia dove si aggrappa Tallacano sorgeva la rocca medievale di cui rimangono vaghe tracce.
Fu realizzata sfruttando i forti dislivelli del sito utilizzando palizzate in legno al posto delle muraglie, più economiche e veloci da innalzare, così come la vicina rocca di Scalelle. Tali costruzioni si edificavano direttamente scavando nella roccia i buchi ove si piantavano le travi portanti della palizzata, favoriti dall'estrema facilità difensiva che permetteva la stretta lingua di roccia.
Unico edificio in pietra era la torre principale forse oggi sopravvissuta nella porzione basamentale del campanile della Chiesa di Sant'Antonio. La peculiare capacità difensiva della torre era dovuta al fatto che fosse innalzata su una lingua rocciosa posta più in basso del piano della rocca, costruita quindi a una certa distanza da essa e vi si collegava tramite una passerella lignea removibile in caso di necessità.
La presunta estensione della rocca segue la stretta porzione pianeggiante della cima, ma le poche tracce rimaste non permettono una ricostruzione veritiera delle antiche fattezze