Slottet har formen av ett palatskomplex bestående av fyra separata palats. Platsen uppkallades efter drottning Sofia Amalia eftersom det under 1600-talet låg ett slott uppfört åt just henne där, som sedan brann ned. Ett antal familjer fick därefter tillstånd att uppföra sina privata palats där. Palatsen uppfördes mellan 1748 och 1760 i rokoko av Nicolai Eigtved. Palatsen användes som fyra separata privatbostäder fram till år 1794, då de inköptes som bostad åt kungafamiljen efter att Christiansborgs slott brunnit ned.
