Le considérable patrimoine foncier de Cluny était constitué de lieux aux statuts très variés : le château de Boutavent fait partie de ces endroits défensifs clés dans le territoire du Clunisois, qui témoignent des prérogatives seigneuriales de l’abbé. Bien que Cluny et ses terres environnantes bénéficiaient d'un statut juridique extraordinaire qui les plaçaient sous l’autorité de saint Pierre et de son représentant ici-bas, le pape, elles n’étaient pas pour autant à l’abri d’enjeux territoriaux qui nécessitaient que les moines soient protégés par les armes. Boutavent nous le rappelle !
Établi à l’extrémité d’un éperon rocheux, il domine la vallée de la Grosne dont il contrôle l’accès nord. Il est probablement construit dans la première moitié du 12e siècle par les Gros d’Uxelles, sires de Brancion, sur la marche de leur fief. En 1237, Josserand IV de Brancion cède à l’abbaye de Cluny la forteresse de Boutavent (castrum nostrum de Bonteavant) et sa châtellenie. Du 14e au 16e s., le château est pris à plusieurs reprises avant d’être définitivement désarmé et affirmé dans sa vocation de domaine agricole. Au 18e s., d’importants travaux d’appropriation en campagne sont réalisés notamment au niveau paysager. En 1867, l’ensemble du domaine est acquis par le comte d’Audiffred, qui le modernise et en fait un lieu de villégiature.