À semelhança de outros palácios de Castelo Branco, também o actual edifício da Câmara Municipal de Castelo Branco se integra no surto de construções / reconstruções, fora das muralhas, que a cidade conheceu no decorrer dos séculos XVII e XVIII.
Edificada no início do século XVI, a casa nobre então pertencente a Bartolomeu da Fonseca situava-se no sítio da Devesa, próxima da cerca. Mais tarde foi herdada por José de Mesquita Martins de Fonseca e reconstruída no século XVII, tornando-se então residência dos descendentes da família Mesquita e Albuquerque, à qual pertenciam os viscondes de Oleiros.
Resulta desta reedificação o edifício que observamos hoje, de planta em U (tal como o Palácio dos Viscondes de Portalegre, sensivelmente da mesma época) com dois corpos laterais avançados rematados por empena triangular que recordam "(...) as antigas torres medievais e quinhentistas" (LEITE, p. 44). O Palácio desenvolve-se em dois andares de alçados regulares e simétricos, que acentuam a horizontalidade do conjunto. Na fachada principal, de gosto barroco, destaca-se a escadaria central de dois lanços paralelos e convergentes que terminam no portal principal rematado por frontão curvo. O alçado posterior distingue-se pela loggia de colunas toscanas, e pelo lambril de azulejos com representações de cenas de caça e pesca, colocado no século XVIII e muito possivelmente, oriundo da Fábrica do Rato. À sua frente estendem-se o jardim e quinta, remodelados em 1935 quando o imóvel foi adquirido pela Câmara Municipal. Idêntica remodelação sofreu o pátio que antecedia a fachada principal, substituído pela Avenida de Nuno Álvares e pela actual Praça do Município.
(Rosário Carvalho)

A classificação como VC foi convertida para IM nos termos do n.º 2 do art.º 112.º da Lei n.º 107/2001, publicada no DR, I Série-A, N.º 209, de 8-09-2001
Decreto n.º 95/78, DR, I Série, n.º 210, de 12-09-1978 (ver Decreto)