Biskops Arnös kända historia börjar på 1200-talet. Då förvärvades ön av ärkebiskopsämbetet i Uppsala, som snart lät bygga en borg för ärkebiskopen att residera i. Ärkebiskoparna vistades på ön i 240 år och var sommarresidens och tjänsteegendom för 18 av ärkestiftets biskopar, tills Gustav Vasa övertog borgen i samband med reformationen.
På 1600-talet övergick Biskops-Arnö till adeln. Johan III byggde ut biskopens hus, som i Erik Dahlbergs Suecia Antiqua redovisas som det ståtliga de la Gardeiska palatset. Där är Ebba Brahe värdinna på 1650-talet. Egendomen omfattar under stormaktstiden 45 hemman.
Vid reduktionen drogs ön tillbaka till kungamakten och palatset blev ett boställe för översten vid livregementet till häst. På 1700-talet förstördes palatset och den nuvarande herrgården byggdes intill dess gamla plats. Senare blev Biskops-Arnö en arrendegård under kronan.
Biskops-Arnö är idag statligt byggnadsminne och förvaltas av Statens Fastighetsverk.
