Le château de Grammont est implanté au sommet d'un mamelon peut-être artificiel. Le logis ainsi que les autres batiments habités se répartissent en trois petites ailes desservies par une tour d'escalier hexagonales.

Bien située sur une butte naturelle dominant la vallée de la Bourbre, la maison-forte de Grammont avec son beau pigeonnier, ses jardins, ses aménagements intérieurs (cheminées et décor), constitue un ensemble cohérent et bien conservé. L'ensemble des bâtiments est construit de petits moellons de calcaire jaune, à peine équarris et posés en assises peu régulières, technique largement répandue dans L'Isle-Crémieu. Les chaînages d'angle n'emploient guère de pierre de taille, réservée aux encadrements des fenêtres qui présentent une taille soignée. L'état de l'édifice montre deux corps de bâtiment rectangulaires, parallèles, de part et d'autre d'une cour centrale que venait fermer un haut mur percé d'un portail. Le logis sud est desservi par une belle tour d'escalier polygonale placée à la jonction entre les deux et complété par une tour d'angle circulaire. Un système de galerie disparu, issu de la tour d'escalier, assurait sur deux niveaux la desserte de ce bâtiment et devait donner un caractère monumental à l'ensemble. De cette période subsiste une monumentale cheminée dont le manteau, sculpté d'élégantes moulures, repose sur des montants à bases prismatiques. Le château possède un magnifique pigeonnier rond ayant conservé la plupart de ses aménagements; ouvertures, corniche, toiture de lauzes récemment restaurée, boulins.