Il borgo di Ghivizzano, dalla fine del X secolo alla seconda metà del XIV secolo, fu feudo e giurisdizione dei Rolandinghi, poi dei Castracani, che lo elessero a residenza familiare e a centro delle loro operazioni militari. La sua importanza crebbe notevolmente sotto Francesco Antelminelli, prima vicario poi conte di Coreglia, che dal 1329 al 1355 dimorò a lungo in questo castello con la moglie Giovanna e il figlio Filippo, quindi con la seconda moglie Tobiola dalla quale ebbe più figli. Dopo la sua morte, avvenuta violentemente per mano dei figli di Castruccio, abitò a Ghivizzano Nicolao, figlio di Francesco, conservando la giurisdizione su tutta la vicaria della montagna, fino al 1369. Da allora Ghivizzano rimase pacifico possesso di Lucca, eccezion fatta per gli anni successivi al 1438 durante i quali, espugnato da Francesco Sforza, alleato di Firenze, divenne fino al 14 maggio 1441 un minuscolo potentato del famoso capitano. Poi tornò a far parte dello Stato lucchese.

L’ingresso al paese è dato da una porta ad arco, cupa e solitaria, da cui si snodano la via Piastronata, che conduce al centro, e la via Sossala (sub sala= sotto il palazzo), con cielo a volta illuminato solo da feritoie. Tale via avvolge il settore meridionale del castello, e dove si apre conduce ad ammirare archi, ripide scalette, ballatoi di legno sospesi, finestrini in mattone, torri divenute terrazze. La chiesa di San Pietro, innalzata nel 994 dai Rolandinghi, restaurata e ingrandita in pieno periodo romanico dai Castracani, come ancora oggi rivela la parte di mezzogiorno, impegnò architetti e scultori che, dalla fusione della pietra col marmo trassero effetti resi superbi da figurazioni ovunque inserite a simboleggiare la fede di quell’epoca di ferro. Purtroppo il mutare dei gusti e, per ultimo, un violento terremoto, sconvolsero la purezza dell’antico disegno, e solo alcuni particolari sopravvivono ancora. Intatti però rimangono il campanile, la scalinata che conduce alla fortezza e la torre, e ben conservati, all’interno della chiesa di San Pietro, quadri di ottima fattura e un tabernacolo antico, e nella chiesa di San Antonio l’ambone di un pulpito e il fonte battesimale quattrocentesco.