Meglio conservata rispetto alle altre fortificazioni è la porta della rocca che si staglia ancora poderosa, illuminandosi al sole del tramonto, creando diverse suggestioni di luci ed ombre proiettate sul parco che silenziosamente la circonda.
Innalzata insieme al castello dai signori di Smerillo e Montepassillo nel XII secolo, edificata all'inizio della cresta rocciosa che ospita la fortezza, ha pianta quadrangolare ed è realizzata in arenaria locale ad eccezione dell'arcata, realizzata in cotto. L'ingresso è rivolto verso il ciglio della rupe in modo da consentire uno stretto passaggio, meglio difendibile in caso di assedio. La costruzione ha perso la parte sommitale ma rimangono comunque i resti del primo piano dove vi era l'ambiente in cui erano ospitate le guardie, realizzato sopra l'arco d'accesso, raggiungibile tramite una scala solitamente rimovibile entrando dalla piccola porticina che si vede ancora nella parte interna della porta. Una finestrella che si apre invece sulla facciata forniva luce all'interno e permetteva di osservare la sottostante strada. Non è certo di come fosse strutturata la parte superiore della torre ma quasi certamente disponeva di caditoie o di altri espedienti per la difesa di uno dei più importanti nuclei fortificati della rocca.