1678-1685 innehades Bäckaskog av Rutger von Aschenberg, som hade det högsta befälet över trupperna i Skåne. Han fick ansvaret för försvenskningen av Skåne. 1685 blev Bäckaskog översteboställe vid Södra Kavalleriregementet. 1782-1817 bebodde Generalguvernören Johan Christopher Toll Bäckaskog. Han utökade trädgården ner till Oppmannasjön genom att plantera nya träd.