A existência da Casa das Brolhas é, ao que tudo indica, bastante remota, muito embora não seja possível precisar em que época foi edificada a primeira casa. Sabemos, apenas, que o vínculo das Brolhas foi instituído em 1636 por Guiomar de Castro, filha do morgado das Brolhas, Gonçalo da Fonseca e Castro (LARANJO, 1989, p. 51). No edifício actual, subsistem alguns elementos do imóvel anterior, como é o caso das abóbadas sustentadas por colunas, na cozinha e nas tulhas, situadas no rés do chão (IDEM).
A Casa que hoje conhecemos é uma reedificação setecentista, de 1777, que se deve à iniciativa do seu proprietário D. Pedro da Fonseca e Castro e Sousa Osório e Melo (IDEM).
A sua planta define um pátio interior, formado por construções mais recentes, e ao qual se acede por um porta em arco. A fachada principal, de cinco panos, divididos por pilastras almofadadas, desenvolve-se em dois andares, abertos por um conjunto de vãos simétricos, com lintel em arco rebaixado e com almofadas dispostas em leque, que conferem algum dinamismo ao alçado. Ganha especial relevância o pano central, rematado por um frontão triangular que denuncia a época avançada do século XVIII em que o imóvel foi construído. O portal, flanqueado por pilastras, é encimado por um lintel semelhante ao dos restantes vãos, prolongando-se pelo janelão e pelo brasão de armas que interrompe o entablamento e ocupa a zona central do tímpano.
O interior estrutura-se em função da escadaria do átrio, que se divide em dois lanços paralelos com balaustrada de cantaria, e rodapé de azulejos do século XVIII. As salas são decoradas por estuques e pinturas ao gosto deste final de século, apresentando ainda uma pequena capela.
Situada no antigo Outeiro, depois conhecido por Largo das Brolhas, este imóvel impõe-se na malha urbana de Lamego não apenas pela sua implantação isolada e em destaque, mas pela imponência da sua fachada, de grandes dimensões e com um ritmo na abertura e decoração dos vãos que faz a transição da linguagem barroca, para um gosto já de influência neoclássica, bem presente no frontão triangular que impõe à cidade o brasão da família.

Decreto n.º 129/77, DR, I Série, n.º 226, de 29-09-1977 (a designação "Casa das Brolhas, Chafariz dos Remédios" corresponde a duas classificações distintas) (ver Decreto)