La tour de Grisset se situe sur le territoire de la commune de Frétéval dans le Loir-et-Cher. Les automobilistes l’aperçoivent généralement depuis la Nationale 10 ou tout simplement