Le prime notizie del castello di Pietra di Roma si hanno intorno al XVIII secolo per mano di Antonino Meli il quale definisce così Pietra di Roma : “... V’erano sino ai giorni nostri due altissime torri, una rotonda, l’atra quadrata, ...delle quali v’esiste ancora parte di fabbrica...furono le suddette già in questo secolo rovinate come stanche di stare più in piedi pella loro antichità... Collaterale alla torre rotonda v’esiste una gisterna, seu fossa dove passa fama che quei Gentili avessero rinserrato non pochi martiri cristiani seppure non volessimo credere che sia stata fatta per conservarvi l’acque piovane....nel giro delle stanze, ponente, una mezzana se ne vedeva pitturata ma alla mosaica o si fosse stata alla greca, con molte finiture e molte iscrizioni, starei per dire simili a quelle di San Pietro di Deca.”

Le altre notizie certe a noi pervenute risalgono alla dominazione araba (901) di cui era presidio militare sotto Ibrahim mentre sotto i normanni diventava posta di controllo per l’attività cantieristica. Nel 1498 il castello necessitava di una prima ristrutturazione; nel 1557 Giulio Filoteo degli Omodei lo descrive come fortezza con fossato. Nel 1578 Spanocchi dice che nel castello vi è un arbitrio di cannamelle e lo dipinge come un forte con tre torri di cui primeggia la circolare ed a cui si affianca l’antico acquedotto. Al contempo il Camilliani sostiene che solo nella prima metà del XVI secolo si impianta uno zuccherificio e lo dipinge come una fortezza turrita “con un maschio circolare”. Infine Vito Amico lo definisce come fortezza egregiamente munita di artiglierie con Chiese e cisterne. L’impianto planimetrico presenta una pianta irregolare dovuta soprattutto alle superfetazioni aggiunte nel corso dei secoli. Infatti si pensa che ad una parte iniziale che si elevava su un costone roccioso, sul lato orientale, si siano aggiunti negli anni corpi di fabbrica lineari con orientamento Est-Ovest.