Curieusement aménagée à l'époque moderne dans une tour de flanquement aujourd'hui isolée, la chapelle Sainte-Anne reste aujourd'hui le seul témoin architectural d'une ancienne maison forte médiévale, encore appelée "château Delay" au début du XIXe siècle.

De l'ancienne maison maison forte d'Abeau (ou de L'Isle ?) attestée peut-être dès 1339 et en tout cas en 1540 (inventaire Marcellier), il ne subsiste - semble-t-il, que quelques mouvements de terrain signalant la présence de murs, et cette tour circulaire, percée de trois fentes de tir en trou de serrure (ébrasement externe, chacune taillée dans un bloc de molasse) qui devait probablement servir de tour de flanquement de l'ancienne enceinte. A cet emplacement, sur l'un des points hauts de la butte de L'Isle-d'Abeau, en bordure nord de l'abrupt dominant le hameau du Didier et les carrières, le cadastre ancien montre que plusieurs bâtiments étaient encore en élévation dans la première moitié du XIXe siècle sous le nom de "Château Delay". c'est à l'intérieur de cette tour qu'une chapelle a été aménagée à une époque tardive (XVIIe ? XVIIIe ? ), type de réaménagement que l'on a déjà pu constater pour d'autres châteaux du Nord-Isère (Tournin, Vallin)

Des fouilles ont eu lieu sur le site (APPAS), qui ont livré un abondant mobilier en partie étudié, et principalement daté du XVIe siècle.