Slottet i Lidzbark Warmiński ble bygget på 1300-tallet som residens for biskopene av Warmia. Byggingen av slottet begynte med oppføringen av ytterveggene, som ble systematisk utvidet i de påfølgende årene.

Byggingen av den første residensen i Warmia med barokkinteriør ble initiert av biskop Stanislaw Zbąski (1689-1697). Han planla opprinnelig å rive middelalderslottet og bygge en moderne residens på dets plass. Imidlertid tvang økonomiske problemer biskopen til å endre planene sine. Han beordret ombyggingen av huset der biskop Jan Stefan Wydżga en gang bodde, ved å legge til en etasje og koble det til slottet.