Under tidigt 1200-tal grundades Bäckaskog som ett premonstratenskloster. Vid reformationen 1537 blev klostret indraget till den danska kronan och gavs som förläning till ätterna Ulfstand och Brahe. 1584 skänktes Bäckaskog till Henrik Ramel som under åren 1584-1653 byggde om klostret till en befäst slottsanläggning. Det var då Bäckaskog fick sin nuvarande utformning.