O Castelo de Fontalva, levantado na margem direita da ribeira do mesmo nome, situa-se numa região onde abundam os vestígios de anteriores e antiquíssimas ocupações humanas, desde épocas pré-históricas. A herdade da Fontalva abriga igualmente vários monumentos megalíticos, e no local de implantação da fortaleza encontraram-se estruturas e artefactos da época castreja, incluindo cerâmicas romanas. Sobre este substracto romano e, possivelmente, também árabe, ter-se-á levantado uma primeira atalaia, ou torre de vigia, construída por um Pero da Silva, em época desconhecida, mas talvez próxima de 1419, data da carta de couto que lhe foi outorgada por D. João I, quando a povoação da zona era essencialmente constituída por herdades. A função de vigia seria feita em ligação com algumas torres vizinhas, nomeadamente o castelo de Barbacena e as atalaias da herdade da Torre de Brito, Sapateiros, Boa Vista, Santa Eulália e Penha Clara (ALMEIDA, João de, 1948).
Desta primitiva estrutura nada resta, sendo o castelo actual resultado de uma intervenção posterior, do reinado de D. João III (1521-1557), quando a torre foi transformada em residência solarenga acastelada. Na época, o castelo faria parte do morgadio de Fontalva, cujo senhor era D. Pedro da Silva; o escudo dos Silvas encontra-se ainda sobre a entrada principal, a Oriente.
A muralha é pentagonal, flanqueada por cinco torreões (ou cubelos) ameiados nos ângulos. A porta principal, aberta em arco redondo, é guardada por dois outros torreões, e encimada pelo escudo dos Silvas, conforme mencionado. A fortaleza é percorrida por um caminho de ronda, ou adarve, e rematada por ameias.
A propriedade terá ficado sempre na posse dos descendentes dos seus proprietários quinhentistas. Em data incerta, entre o século XIX e o XX, estes proprietários derrubaram diversas construções adossadas às muralhas e no interior do recinto do castelo. O mais recente projecto visa transformar o imóvel, integrado na herdade onde está sediada a Coudelaria Sommer d'Andrade, em unidade turística. SML

Decreto n.º 129/77, DR, I Série, n.º 226, de 29-09-1977 (ver Decreto)