A antiga vila de Seda, actual freguesia de Alter do Chão, foi conquistada ao domínio muçulmano por D. Afonso Henriques, em 1160, com o auxílio dos cavaleiros templários a quem o território foi posteriormente doado. A povoação medieval terá nascido no local de um antigo castro romanizado, sendo a presença romana no território atestada pela bela ponte sobre a Ribeira de Seda, do século II, e por marcos miliários encontrados na região, entre outros vestígios. A construção das muralhas deverá ter arrancado certamente logo após a conquista, como seria de esperar numa zona fronteiriça. Em 1271, Seda é entregue aos Cavaleiros de Avis, recebendo foral de Frei Simão Soeiro, Mestre da Ordem.
Não se tratando verdadeiramente de um castelo, a fortificação de Seda é constituída por uma cerca urbana, com troços de muralha entre cubelos, no interior da qual se abriga todo o núcleo de casario antigo. Embora em ruínas, restam alguns troços de muralha, sem ameias, a unir três cubelos de planta circular, e ainda vestígios de um quarto cubelo. Os muros são ainda medievais, levantando-se em cortinas perpendiculares ao solo, com alvenaria de xisto à fiada, em argamassa de cal. Boa parte dos panos de muralha encontra-se entre hortas e quintais das habitações da rua do Castelo. SML

Decreto n.º 28/82, DR, I série, n.º 47, de 26-02-1982 (ver Decreto)