Le village de Château est situé à 5 km à l’ouest de Cluny. L'église, dédiée à Saint-Martin, est isolée au-dessus du village, sur la Montagne de la Garenne, à l’extrémité d’un éperon accessible par un chemin étroit menant au cimetière et à l’ancien presbytère. L’édifice, ancienne chapelle castrale, devenu trop exigu, est presque totalement reconstruit en 1848 (transept et abside). Seule la nef est conservée.
Au nord de l’église, le donjon du château, haut de 20 mètres, devient le clocher de la nouvelle église, à laquelle il est raccordé. Cette tour massive constitue le dernier vestige d’une maison forte. Louis le Bègue, roi des Francs (846-879), en avait donné la propriété, à la fin du IXe siècle, aux chanoines de la cathédrale Saint Vincent de Mâcon.