As origens do castelo de Penamacor recuam ao reinado de D. Sancho I, concretamente ao ano de 1189, data em que o monarca doou a vila ao Mestre da Ordem do Templo, D. Gualdim Pais. Tem-se atribuído a este momento (ou a uma data um pouco posterior) o início da construção do recinto fortificado mas é de supor que, à semelhança do que aconteceu com outras doações aos Templários, também Penamacor tivesse já alguma relevância militar, alicerçada numa possível pré-existência. As recentes escavações no Cimo da Vila ainda não confirmaram essa fase imediatamente anterior, mas ela deve permanecer como hipótese de trabalho a ter em conta em próximas intervenções.
Do antigo castelo medieval é muito pouco o que resta e esses vestígios atestam uma cronologia já avançada, em plena Baixa Idade Média. Sabe-se que no reinado de D. Dinis foram empreendidas obras de amuralhamento, entre as quais se conta a torre de menagem e alguns panos de muralha. No momento actual, todavia, é a esse período que se atribui a obra genérica do castelo medieval, com algumas fases construtivas imediatamente posteriores, como a barbacã e outros elementos, datáveis já dos reinados de D. Fernando e de D. João I.
O principal elemento remanescente é a majestosa torre de menagem, erradamente designada "de vigia" por LANDEIRO, 2ªed., 1982, p.27 e sistematicamente assim caracterizada pelos autores que se seguiram. É uma estrutura de planta quadrangular regular, com entrada elevada acima do solo que requeria o uso de uma escada amovível. Escassamente fenestrada, era coroada uniformemente por balcão de matacães assente em cachorrada, "uma solução militar relativamente rara em Portugal" e que deve corresponder a uma intervenção realizada pelos inícios do século XVI, uma vez que Duarte d'Armas, por essa mesma altura, refere que a a torre de menagem nom era acabada ao tempo que eu aly estaua (SILVÉRIO, BARROS e TEIXEIRA, 2004).
O aglomerado urbano medieval é ainda perceptível, ao longo da Rua de São Pedro. As parcelas habitacionais aí existentes revelam um perímetro genérico de tendência oval, próprio das vilas muralhadas góticas. Sensivelmente ao centro desta artéria, desenvolve-se uma outra, de perfil transversal àquela, e que coloca em comunicação com o centro histórico a antiga entrada da alcáçova.
Nos inícios do século XVI, Duarte d'Armas desenhou um castelo de complexo sistema defensivo, com uma alcáçova perfeitamente perceptível, dotada de barbacã e uma possível liça, e um perímetro amuralhado de tendência oval, defendido por torre no extremo oposto ao da alcáçova.
Nos séculos seguintes, o castelo foi alvo de profundas reformas. Logo em 1568 edificou-se a Casa da Câmara sobre a porta Norte da vila, como ainda se encontra, uma espécie de torre de três pisos, cujo andar térreo é ocupado pela entrada no recinto, fazendo com que a Câmara controlasse directamente quem entrava e saía da povoação. Décadas depois, as muralhas foram reforçada e parcialmente reconstruídas, no âmbito das Guerras de Restauração. Nessa ocasião, sob o comando do Marquês de Castelo Melhor, construíram-se seis baluartes em redor da anterior fortificação medieval, e outros melhoramentos foram realizados.
O processo de destruição e desmantelamento do castelo iniciou-se no século XIX. Na centúria anterior, existem ainda notícias de manutenção das guarnições militares, mas a sua extinção, em 1834, precipitou a destruição de todo o sistema militar. A partir dessa altura, o conjunto serviu de pedreira a diversas construções privadas. Em 1867, destruiu-se a porta de Santo António, tendo o município adquirido a pedra daí resultante; em 1874, Baltasar Pereira da Silva pediu autorização para se desmantelar um baluarte, tendo a câmara concedido 30 carros para transporte. O processo continuou na primeira metade do século XX, mas cedo os habitantes da vila reconheceram a importância desse património, com a instalação do Museu Municipal nos antigos Paços do concelho logo em 1943.
PAF

Decreto n.º 14/2013, DR, 1.ª série, n.º 119, de 24-06-2013 (ver Decreto)
Relatório final do procedimento aprovado por despacho de 10-01-2013 da diretora-geral da DGPC
Procedimento prorrogado até 30-06-2013 pelo Decreto-Lei n.º 265/2012, DR, 1.ª série, n.º 251, de 28-12-2012 (ver Diploma)
Anúncio n.º 13641/2012, DR, 2.ª série, n.º 211, de 31-10-2012 (ver Anúncio)
Procedimento prorrogado pelo Decreto-Lei n.º 115/2011, DR, 1.ª série, n.º 232, de 5-12-2011 (ver Diploma)
Procedimento prorrogado pelo Despacho n.º 19338/2010, DR, 2.ª série, n.º 252, de 30-12-2010 (ver Despacho)
Despacho de homologação de 8-08-1973 do Secretário de Estado da Instrução e Cultura
Parecer de 18-05-1973 da 4.ª Subsecção da 2.ª Secção da JNE a propor a classificação como MN
Proposta de 13-02-1973 da DGAC para a classificação da Fortaleza de Penamacor