Sæbygård tilhørte i middelalderen Børglumbispen. Ved senere mageskifte overgik Sæbygaard til Otto Rud og Pernille Oxe, der 1576 færdigbyggede et renæssanceanlæg, hvoraf kun hovedbygningen er bevaret. Trappetårnets bygmester er den kendte Hercules Midow. I overensstemmelse med tidens smag er herregården placeret på et kvadratisk voldsted med adgang fra ladegården i nord. Den nuværende stenbro over voldgraven stammer fra omkring 1800. Førhen var der en vindebro af træ.
Ladegårdens bygninger stammer fra dette århundrede, men har samme placering som de tidligere bygninger, der formodentlig har været opført i bindingsværk. som det blev skik fra renæssancen, er anlægget udformet symmetrisk om sin egen midterakse.