Allerede i 1831 begynder Rigsrådet at tumle med planer om at flytte alle Gammelholms aktiviteter over til Nyholm, og udlægge området til bebyggelse. Det krævede dog en hel del planlægning at flytte en større flådebase. Det skulle ske i takt med, at nye bygninger sideløbende opførtes på Nyholm. Det havde også sine besværligheder at skaffe passende indkvartering til de mange højtstående søofficerer, der havde deres attraktive embedsboliger på Gammelholm. Arkitekten Ferdinand Meldahl sættes i 1859 til at udføre en plan for udflytningen og bebyggelsen af Gammelholm. Meldahls forslag om brede gader blev forkastet, for at frigøre så meget jord som muligt til salg.

Det hele endte med et typisk dansk kompromis som resulterer i en meget kompakt byplan. I 1864 tilkastet Holmens Kanal, og udflytningen til Nyholm var i fuld gang. Det nye kvarter blev afgrænset af den nyanlagte Havnegade, den nu tilkastede Holmens Kanal, Kongens Nytorv og Nyhavn. Men bl.a. Holmens Kirke og Charlottenborg fik lov til at blive stående. I det nye Gammelholmkvarter bliver der opført ni gader og næsten 100 nye ejendomme, med bl.a. J.D. Herholdts Nationalbank. Meldahl var hovedsageligt optaget af de nye gaders kunstneriske fremtræden.

Staten valgte at sælge så mange byggegrunde som muligt. Det kom hele byggeriet til at bære præg af. På små 10 år forsvandt hele den gamle flådebase med sine maleriske kanaler, mastegrave og gamle bygninger. Overalt skød vakkelvorne stilladser op efterhånden som de gamle flådebygninger rømmes og nedrives. Hus efter hus skød i vejret, til højder som hidtil var ukendt i København.

Gaderne blev bestemt ikke så smukke som Meldahl havde drømt om, og grundene blev bebygget utroligt tæt. Bag de monstrøse forhuse, ud til gaden, presses alle de baghuse ind, som byggegrundene kunne rumme. Hele kvarteret var allerede færdigt omkring 1870. Om det nye kvarter kunne man i Illustreret Tidende læse journalisten Edgar Collins hyldest til nybyggeriet: "Hvor marinen tidligere havde sine for alle dødelige utilgængelige etablissementer, der skjermedes af Holmens Canal og en mur, troner nu Gammelholmkvarteret, for øjeblikket byens mest elegante og fashionable del...".

På grund af områdets historie som gammel flådebase fik de fleste af gaderne navn efter danske søhelte. Med undtagelse af en rest af den gamle reberbane, som nu indgår i Charlottenborg, og Holmens Kirke, er alle minder om flådens tilstedeværelse på Gammelholm forsvundet. Eftertidens syn på den tætte bebyggelse ændredes også. Fra halvfjerdserne fandt der en række gårdsaneringer sted, så kvarteret ikke længere var helt så kompakt. Men kvarterets navn har dog overlevet, som minde om flådens base på Gammelholm.