Castelul a fost cumpărat în 1852 de prințul Albert pentru el și regina Victoria. De atunci, castelul a rămas în familie și a fost moștenit de urmașii lor. Clădirea, contruită în stil scoțian, cu influențe gotice renascentiste, datează din secolul al XV-lea, însă cu timpul, au fost făcute diverse modificări care transformat clădirea în versiunea pe care o știm astăzi.