Stygge Krumpen var biskop over Børglum stift, men opholdt sig som regel på Vendsyssels østkyst, hvor han opførte bygninger på Voergård og Sæbygård. Begge steder stenhuse på et stort kvadratisk voldanlæg bag voldgrave. På Voergård opholdt han sig ofte privat med Elsebeth Gyldenstjerne, og havde her et godskontor, hvor han blandt andet opbevarede brevkisten, der desværre gik tabt, da Voergård blev nedbrændt under Grevens Fejde.
På Sæbygård derimod afholdt han sammen med Elsebeth store gilder, og jagtselskaber i skovene omkring Sæbygård, men var også her tæt på sin købstad Sæby, hvorfra han kontrollerede landsdelens handel. Stygge Krumpen, og hans morbroder Niels Stygge Rosenkrantz var store støtter for Sæby, og opførte bla. sideskibet til Sæby kirke, med de smukke kalkmalerier, samt skænkede altertavlen, hvorpå de to selv er afbilledet, sammen med Elsebeth Gyldenstjerne. Stygge Krumpen flyttede også Børglum bispestols domprovst til Volstrup kirke, der hørte under Sæbygård.
De siges, at Stygge Krumpen fra kælderen på Sæbygård under en af de store møllesten i gulvet havde en hemmelig underjordisk flugtvej, der førte fra Sæbygård ned til klostret i Sæby, meen...du kan jo selv komme og prøve at løfte en af møllestenen og kigge efter.