Foi o primeiro capitão da Torre de Belém, Gaspar de Paiva, quem em 1519 mandou edificar, num terreno que lhe fora aforado pelos monges de Santa Maria de Belém, uma casa para servir de sua residência.
Embora haja notícia de ter tido alguns proprietários que nunca foram arrolados como membros da guarnição da fortaleza, os governadores da torre continuaram a residir neste palacete, construído junto à praia de Pedrouços.
O edifício terá sido transformado ao longo dos séculos XVII e XVIII, uma vez que da estrutura quinhentista nada subsiste. A casa apresenta um modelo que pela simplicidade das linhas se aproxima muito da arquitectura pombalina.
Num terreno pertencente à Casa do Governador, situado na zona traseira da casa, foi aberto um largo onde foi edificado, em 1851, um chafariz para abastecer a população da zona de Pedrouços.
No final do século XIX o edifício seria vendido a particulares, passando pela posse de diversas famílias até 1941, data em que aí foi instalada a Escola Profissional de Pesca, activa até à década de 70 do século XX.
Embora se desenvolva num volume único, de planta em U, o edifício pode dividir-se em duas áreas distintas, a residencial, dividida em três pisos, e a que integra as dependências de serviço e a capela.
Em 2001 o direito de superfície sobre os terrenos da Casa do Governador foram cedidos, pela Câmara Municipal de Lisboa, a uma empresa de empreendimentos turísticos, que apresentou o projecto de reabilitar o edifício para a construção de um "hotel de charme".
Durante as obras, em 2006, foi descoberta debaixo do pátio e das caves da casa uma fábrica romana de salga de peixe e produção de molho de peixe, datada dos séculos I-III d. C., considerada uma das maiores do Estuário do Tejo. A estrutura arqueológica deverá ser preservada e integrada na unidade hoteleira.
Catarina Oliveira
DIDA/IGESPAR, I.P./ 3 de Outubro de 2007

Procedimento caducado nos termos do artigo 78.º do Decreto-Lei n.º 309/2009, DR, 1.ª série, N.º 206 de 23-10-2009 (ver Diploma)
Proposta de 30-12-2010 da DRC de Lisboa e Vale do Tejo para a revogação do despacho de abertura, por não ter valor nacional, e o envio à CM de Lisboa para a ponderação da classificação como de IM
Despacho de abertura de 7-02-1991 do presidente do IPPC
Proposta de 18-01-1991 do IPPC para a abertura da instrução do processo de classificação