I 1599 finder man de første beretninger om Slotskroen ved Hammershus.
I 1658 forhandlede Jens Koefoed med svenskerne på kroen omkring overdragelsen af Hammershus.
I 1661 kom Leonora Christina og Corfits Ulfelt forbi kroen under deres flugt fra borgen. Kroejeren kunne høre dem pusle udenfor i den tætte tåge, og troede det var tyve der ville stjæle hans grise.
I 1634 angives det på et regnskabsbilag at en snedker der boede på kroen havde udført arbejde på Hammershus.
Kro ejeren flyttede i 1692 til Christiansø, og kroen fik lov til at forfalde.
Den 30. april 1907 blev pensionatet købt af Foreningen Bornholm til en pris på DKK 414,38. Det var i øvrigt foreningens første køb.
Før pensionatet blev omdannet til pensionat havde det været en almindelig gård.
De sidste mange år var Slotsgården det officielle besøgscenter samt café ved Hammershus borgruin. Slotsgården blev dog revet ned i december 2017, i forbindelse med byggeriet af Utzons nye besøgscenter.