Em 1120 o casario junto à Sé do Porto, juntamente com várias isenções e propriedades anexas, foi doado por D. Teresa ao bispado da diocese, separada cinco anos antes da metrópole bracarense. O burgo portuense pertencia desde então à Mitra, que dominava igualmente o comércio marítimo e fluvial em torno da movimentada zona ribeirinha. Ao longo do século XIII, a Coroa manifestaria uma tendência natural para, em marcada oposição ao Bispado, assumir o rendoso senhorio aduaneiro do Porto, começando pela tentativa de instalar infra-estruturas régias em áreas limítrofes dos domínios eclesiásticos - caso de Vila Nova de Gaia, a partir de 1255, ou, já no século XIV, em casas junto à ermida de São Nicolau, perto da Fonte Taurina, então Fonte Aurina. E é justamente na sequência deste movimento que D Afonso IV manda erguer, em 1354, uma imponente casa da Alfândega, na margem direita do Douro, onde funcionaria também a Casa da Moeda, já laborando no reinado de D. Fernando, embora apenas em 1406 D. João I tenha ordenado o acrescentamento do anexo a esta destinado.
Os estudos recentes e as escavações arqueológicas realizadas no complexo alfandegário revelam uma estrutura primitiva constituída por dois torreões unidos através de um pátio central, claro modelo medieval de edifício urbano de "prestígio" (REAL, GOMES, TEIXEIRA, 1992) entretanto radicalmente alterado por obras de ampliação sucessivas desde o século XV. Para além de alfândega e armazém de mercadorias, o edifício serviria ainda para albergar os funcionários régios, e possivelmente também o rei e a família real durante as suas estadias no burgo, inclusivamente por ser este o primeiro imóvel régio do Porto, e o mais importante prédio civil, permanecendo durante a época medieval como símbolo da afirmação do poder real na cidade. A descoberta da zona habitacional parece confirmar a tradição segundo a qual nesta casa terá nascido, em 1394, o Infante D. Henrique, donde a designação de Casa do Infante.
O "almazém" régio foi ampliado no século XV, devido ao crescimento do comércio marítimo na cidade, que continuaria a acentuar-se ao longo dos séculos seguintes. Em 1656 foram realizadas obras das quais pouco se conhece, e a partir de 1677, por ordem de D. Pedro II e execução do marquês da Fronteira, vedor da Fazenda, a Casa da Alfândega foi praticamente reedificada. Manteve-se o pátio interior, mas as torres quatrocentistas foram substituídas por alpendres cobertos, e a cota dos novos pavimentos foi uniformizada. Os armazéns interiores foram unidos num espaço organizado em três naves com arcarias, e a fachada principal, que em 1462 já avançara em direcção à rua, recebeu mais dois pisos, passando a dominar de forma ainda mais marcante o espaço público. Neste corpo principal funcionavam então os serviços deslocados das torres, e aí foi construída uma larga escadaria central de acesso à zona de habitação do segundo piso.
Até finais do século XIX não foram realizadas obras de grande significado, embora se tenham aberto portas de ligação com um edifício contíguo, para ampliar os serviços. Com a construção da nova Alfândega em Miragaia, em funcionamento a partir de 1869, as antigas instalações foram progressivamente abandonadas, e o corpo posterior foi arrendado. Já em meados do século XX, cessado o arrendamento, o conjunto sofreu importantes obras de conservação; as escavações arqueológicas em curso a partir de 1991 permitiram identificar, para além das estruturas medievais, também os vestígios de uma grande construção romana, com pavimentos em mosaico, datável do Baixo-Império. As mesmas escavações permitiram conhecer o mestre arquitecto das obras medievais, João Eanes Melacho, cujo nome consta de uma inscrição quatrocentista num cunhal do edifício. Actualmente, funcionam aí os serviços do Arquivo Histórico Municipal. Destacam-se o escudo de armas de D. João I, no nº 47, e o portal setecentista da entrada da Rua do Infante D. Henrique, no nº 53. Sílvia Leite / DIDA - IGESPAR, IP

Decreto n.º 9 888, DG, I Série, n.º 146, de 2-07-1924 (ver Decreto)