O Recolhimento funcionava em um edifício de três andares, na esquina das Ruas da Cadeia e dos Ourives (atuais Assembléia e Rodrigo Silva). Fora construído a partir de 1742 e inaugurado, em 1759, pelo Bispo D. Frei António do Desterro. Embora pertencente à Irmandade da Misericórdia, adquiriu o “sobrenome”, por ficar ao lado da Igreja de Na. Sa. do Parto.
Conta-nos Charles Dunlop que, a princípio, “destinava-se a albergar mulheres de vida desonesta que, arrependidas do pecado, procuravam na religião o caminho da regeneração”. Em pouco tempo, porém, transformou-se em local onde eram internadas filhas desobedientes (as que não queriam casar-se com o noivo escolhido pelo pai), e esposas recalcitrantes na desobediência aos maridos.
Na noite de 23 para 24 de agosto de 1789, irrompeu violento incêndio no prédio. Populares arrombaram as portas, retiraram as mulheres da prisão a que estavam recolhidas, e combateram o incêndio com baldes de água trazidos desde o chafariz da Carioca (naquele tempo ainda não havia Corpo de Bombeiros na cidade).
No dia seguinte ao incêndio, o vice-rei Luís de Vasconcelos e Souza incumbiu mestre Valentim a construir um novo prédio para o Recolhimento. O que, para infelicidade das mulheres, foi feito com toda a urgência: o novo prédio ficou pronto em dezembro do mesmo ano. É de observar que o Recolhimento funcionou neste novo prédio até 1812, quando foi levado para o Largo da Misericórdia, em prédio onde funcionaria, depois, a Escola de Medicina. O prédio junto à Igreja de N.S. do Parto foi demolido em 1906, quando das obras de alargamento da Rua da Assembléia.
As fotos reproduzem quadros de Leandro Joaquim, retratando o incêndio, e de João Francisco Muzzi que mostra Mestre Valentim apresentando ao vice-rei as plantas do novo edifício do Recolhimento.