O primeiro donatário da Vidigueira e do seu castelo foi Mestre Tomé, tesoureiro da Sé de Braga no reinado de D. Afonso III, fazendo esta doação régia parte da estratégia repovoadora da região no século XIII. Mestre Tomé, também encomendador da antiga matriz da povoação, terá erguido e reforçado o castelo como bastião defensivo da linha do Guadiana, importante fronteira luso-castelhana. Poucas décadas mais tarde, no início do século XIV, D Dinis recuperou a pose da vila da Vidigueira para a Coroa, e em 1385 D. João I doou-a ao contestável D. Nuno Alvares Pereira. Através do casamento de sua filha, D. Beatriz Pereira Alvim, com D. Afonso, Conde de Barcelos e 1º Duque de Bragança, o castelo e termo da Vidigueira passariam para a posse da Casa de Bragança, uma das mais opulentas do reino. A robusta torre quadrangular que hoje ainda se pode apreciar, datará provavelmente do senhorio de D. Fernando, 2º Duque de Bragança, na primeira metade do século XV. Com o confisco geral dos bens da Casa de Bragança, em 1483, as propriedades regressaram à Coroa até à anulação do processo em 1500, por D. Manuel, seguida da outorga de foral à Vidigueira, em 1512.
Porém, pouco tempo se passaria até que este mesmo monarca concedesse a D. Vasco da Gama, Almirante da Índia, o titulo de Conde da Vidiqueira, em recompensa pelos seus feiros ultramarinos. Uma vez mais o castelo saía da posse da casa bragantina; em 7 de Novembro de 1519 Vasco da Gama assinou um contrato de "promutaçam vemda e escaybo e Renuciaçam" com o Duque de Bragança, mudando-se de Évora para o Paço da Vidigueira, o palácio anexo à fortificação. Deste paço, que foi certamente uma construção importante, nada resta actualmente, à excepção talvez de uma janela geminada, de estilo manuelino, trazida de Vila de Frades por se julgar ter pertencido à habitação nobre dos Condes da Vidigueira.
Quanto à torre de menagem acima citada, também conhecida por Atalaia das Vidigueiras, trata-se de uma construção maciça, em aparelho regular, embora já alterado por sucessivas intervenções, onde os vestígios do paramento da muralha foram transformados em escadaria de acesso. Consolidada recentemente, não apresenta coberturas, nem vestígios de uma eventual coroação de merlões. Numa das fachadas figura uma pedra de armas, aí colocada seguramente em época mais recente, exibindo as armas dos Condes da Vidigueira, tal como foram dadas ao próprio Vasco da Gama (com escudete ao centro, formado por cinco escudetes postos em cruz). SML

Decreto n.º 251/70, DG, I Série, n.º 129, de 3-06-1970 (ver Decreto)