Em 1475, D. Afonso V concedeu o titulo de barão de Alvito ao funcionário régio João Fernandes da Silveira, cujos descendentes viriam a ser titulados de marqueses. Alguns anos mais tarde, em 1482, o mesmo monarca estendeu ao barão e a sua mulher o direito de aí construírem um castelo, outorgando-lhes consequentemente o senhorio da vila e dos povoados limítrofes. A empreitada terá começado apenas em 1494, segundo reza uma lápide colocada sobre a porta de entrada (Fialho de ALMEIDA, 1946), tendo corrido já a cargo do 2º barão, D. Diogo Lobo da Silveira, que recebeu novas confirmações da licença régia em 1489 e em 1497, outorgadas por D. João II e D. Manuel. A última carta de confirmação esclarece a importância estratégica do castelo para a defesa da região, dominando uma suave elevação sobre as planícies a noroeste de Beja, e facultando refúgio aos moradores. No entanto, a feição militar conjugava-se claramente com uma dimensão mais palaciana, fazendo do castelo de Alvito um paço fortificado, ou um castelo-palácio (Florentino PEREZ EMBID, 1955), designação preferida por alguns autores.
Trata-se de um edifício de planta rectangular, definindo um pátio interior onde se ergue, a noroeste, a torre de menagem, mais elevada e de planta quadrada, adossada ao pano de muralha. Esta disposição em torno de um pátio central encontra-se igualmente em edifícios como o castelo de Viana do Alentejo, o solar de Água de Peixes ou o Palácio dos Duques de Cadaval, em Évora (Florentino PEREZ EMBID, 1955), e não seria de desprezar a relação que uma tal disposição, relacionada com o carácter residencial que o monumento assume com nítido destaque, mantivesse com a génese do típico monte alentejano (Cfr. AZEVEDO, Carlos de, 1969). Mas particularmente interessantes serão os torreões cilíndricos e ameiados rematando os ângulos da muralha, por um lado facilmente relacionados com a tipologia regional dos contrafortes cilíndricos das igrejas fortificadas alentejanas, mas cuja aplicação neste caso particular remete seguramente para a influência dos castelos de Beja e de Viana do Alentejo (Florentino PEREZ EMBID, 1955).
Estes exemplos permitem compreender o castelo do Alvito no quadro da arquitectura alentejana de finais do século XV e início do XVI, pelo menos no que respeita a encomendas eruditas e a obra de aparato; e a esta luz se deverá igualmente examinar a influência mudéjar que se observa em elementos decorativos e nas janelas e vãos do piso nobre, maineladas, e exibindo arcos em ferradura construídos em tijolo e argamassa, que convivem com o sabor já italianizante de alguns elementos marmóreos. Estas características contribuem particularmente para a feição solarenga do castelo, igualmente relacionada com as personagens dos seus fundadores, pertencentes a uma família de grande influência regional, mas sem a influência, a riqueza e o poderio, inclusivamente militar, dos grandes senhores do reino.
O castelo foi recuperado, e está transformado em pousada de Portugal deste 1993, data da inauguração. SML

Decreto de 16-06-1910, DG, n.º 136, de 23-06-1910 (ver Decreto)