Inicialmente, era chamada de Ilha dos Ratos, porque era coalhada de pequenas pedras cinzentas que, vistas à distância, pareciam ratos.
A necessidade de um posto alfandegário próximo ao fundeadouro dos navios mercantes em frente ao Largo do Paço (atual Pça XV) levou à construção da notável edificação na, já então, chamada Ilha Fiscal.
O castelo foi projetado pelo engenheiro Adolpho José del Vecchio, diretor de obras do Ministério da Fazenda, que o fez em estilo gótico provençal, recebendo a Medalha de Ouro em exposição na Escola Imperial de Belas Artes, e um elogio do Imperador.
A construção foi executada com qualidade por exímios profissionais. O trabalho em cantaria é de Antonio Teixeira Ruiz; os mosaicos do piso do torreão, feitos com diversos tipos de madeira, é de Moreira de Carvalho. As pinturas decorativas são de Frederico Steckel. Os vitrais são ingleses e o relógio de Krussmann. As fundições de Joaquim Moreira & Cia. O prédio foi inaugurado pelo Imperador, em 1889.
A festa programada para 19 de outubro (vide foto do convite) foi transferida, face às notícias recebidas a respeito da saúde de D. Luís, rei de Portugal e sobrinho de Pedro II, que viria a falecer em seguida.
Pouco depois, em 9 de novembro, realizou-se a festa, conhecida como o "último baile do Império", na verdade, uma recepção em homenagem à oficialidade do Encouraçado chileno Almirante Cochrane, em retribuição à bela acolhida que os chilenos haviam propiciado aos brasileiros do Navio-Escola Almirante Barroso, por ocasião de sua passagem pelo Chile, no ano anterior.
Em 1913, o prédio foi transferido para a Marinha que nele instalou a Repartição da Carta Marítima _atual Diretoria de Hidrografia e Navegação, DHN_ que desde fevereiro de 1983 funciona na Ponta da Armação, em Niterói. Em 1996, a Diretoria do Patrimônio Histórico e Cultural da Marinha já havia iniciado seu projeto de restauração, com o apoio do Serviço de Documentação da Marinha e sob supervisão do Instituto Estadual do Patrimônio Cultural (Inepac).
Hoje, a Ilha Fiscal está aberta à visitação (e também para a realização de eventos). De quinta a domingo, tours guiados permitem conhecer os salões com exposições, os vitrais, os trabalhos em cantaria, todo o edifício.
Ilustram o post uma foto da Ilha e uma reprodução do convite para a famoso baile.