Nel cuore del Borgo sorge il palazzo Baronale, il cui ingresso principale si apre su piazza Marconi. L’edificio fu in origine il simbolo del potere feudale, in quanto luogo di residenza dell’ antica famiglia Colonna. Fu infatti questa casata nobiliare, discendente dai conti di Tuscolo, a detenere dal 1426 fino al 1594 la proprietà dell’ intera terra di Nettuno, salvo una breve parentesi, dal 1501 al 1503, in cui subì la confisca dei beni da parte dei Borgia. È durante la loro signoria che il palazzo, probabilmente già parzialmente esistente all’epoca della proprietà degli Orsini, assunse quella tipologia architettonica cinquecentesca che ancora oggi lo caratterizza. Un’iscrizione posta sotto lo stemma Colonna murato sulla torre dell’orologio, ci informa infatti che nel 1569 Marcantonio Colonna si preoccupò di abbellire ed erigere nuovi edifici e restaurare il Castello di Nettuno.
