De planta em U e volumetria simples, a Casa do Ermo destaca-se pelas suas dimensões e pelo isolamento do local onde se encontra implantada. As suas linhas pautam-se por uma depuração extrema, e a longa fiada de janelas aberta no piso nobre exibe molduras rectas, com verga em arco abatido. O único elemento que confere um maior dinamismo e alguma profundidade ao alçado é a escadaria de dois lanços, que se adossa paralelamente à fachada e permite o acesso à porta principal. Sob o patamar, um vão de linhas rectas estabelece a ligação ao pátio interno, que comunica com os terrenos da quinta.
Como acontecia habitualmente neste género de edifícios, o piso superior era destinado à habitação, enquanto se reservava o térreo para as dependências agrícolas.
Pertença da família Vieira de Castro, que desde o final do século XVIII conheceu uma importância crescente a vários os níveis, e num quadro local e nacional, a casa do Ermo ficou célebre pela presença assídua de Camilo Castelo Branco, que chegou mesmo a referir-se ao imóvel na sua obra "Memórias do Cárcere". José Cardoso Vieira de Castro frequentava o curso de Direito da Universidade de Coimbra, quando conheceu, no Porto, o escritor de quem se tornou amigo. Este refugiou-se, já em 1860, na casa do Ermo, em consequência da sua ligação a Ana Plácido. José Cardoso Vieira de Castro tornou-se, então, personagem dos seus livros, a ele se referindo, por exemplo, ao relatar a sua chegada à casa do Ermo: "Fui de Santo António das Taipas para as cercanias de Fafe, quinta do Ermo, onde me esperava com os braços abertos e o coração no sorriso, José Cardoso Vieira de Castro, Falseei a verdade. Vieira de Castro esperava-me a dormir, naquela madrugada dele, que era meio-dia no meu relógio." (Memórias do Cárcere)
(Rosário Carvalho)

A classificação como VC foi convertida para IM nos termos do n.º 2 do art.º 112.º da Lei n.º 107/2001, publicada no DR, I Série-A, N.º 209, de 8-09-2001
Decreto n.º 45/93, DR, I Série-B, n.º 280, de 30-11-1993 (ver Decreto)