Från 1818 arrenderade Oscar I slottet och överlät det sedan till sin son Karl XV, som vistades på Bäckaskog varje sommar från 1845 till sin död. Han lät bygga bostäder för anställde, trädgårdsmuren med ett nu rivet orangeri. Fram till år 1900 disponerade hans dotter, drottning Louise av Danmark, slottet. Sedan 1935 är Bäckaskogs slott statligt byggnadsminne. Statens fastighetsverk förvaltar byggnaderna och parken sedan 1996.