La Fortaleza, también conocida como el Castillo, es un lugar simbólico de Carmignano, al que se puede llegar a través de un camino peatonal que parte de la iglesia parroquial de San Miguel y Francisco. A medida que se asciende por la ruta, se puede disfrutar de una hermosa vista de la llanura que se extiende entre Florencia, Prato y Pistoia. En los días despejados es posible ver la cúpula de la Catedral de Florencia y la Villa La Ferdinanda en Artimino, que está cerca.

La fortaleza de Carmignano ha tenido un papel estratégico a lo largo de los siglos y ha sido objeto de violentos y repetidos enfrentamientos entre Florencia y Pistoia por su posesión. El pueblo de Pistoia conquistó la zona por primera vez en 1125 y comenzó a fortificarla; posteriormente, en 1324, Castruccio Castracani conquistó la fortaleza que pasó definitivamente bajo el control de Florencia, iniciando un período de paz y estabilidad duraderas.

El actual complejo de la fortaleza de Carmignano es una reconstrucción del siglo XIX sobre restos que datan de los siglos XV y XVI. Está compuesto por los restos de las tres murallas de la ciudad y el campanario, conocido como Campano. En el centro de la fortaleza, rodeada por una arboleda, hay un pequeño edificio que alberga algunas salas de exposiciones. Además, un rincón del jardín interior, creado por los Lions de los municipios de los Medici, está dedicado a los higos y muestra todas las variedades de esta fruta presentes y cultivadas en Montalbano, la colina en la que se encuentra Carmignano.