Curieusement aménagée à l'époque moderne dans une tour de flanquement aujourd'hui isolée, la chapelle Sainte-Anne reste aujourd'hui le seul témoin architectural d'une ancienne maison forte médiévale, encore appelée "château Delay" au début du XIXe siècle.

Cette chapelle est le seul exemple d’édifice religieux circulaire.
De l'ancienne maison forte d'Abeau (ou de L'Isle ?) attestée peut-être dès 1339 et en tout cas en 1540 (inventaire Marcellier), il ne subsiste - semble-t-il, que quelques mouvements de terrain signalant la présence de murs, et cette tour circulaire, percée de trois fentes de tir en trou de serrure (ébrasement externe, chacune taillée dans un bloc de molasse) qui devait probablement servir de tour de flanquement de l'ancienne enceinte. A cet emplacement, sur l'un des points hauts de la butte de L'Isle-d'Abeau, en bordure nord de l'abrupt dominant le hameau du Didier et les carrières, le cadastre ancien montre que plusieurs bâtiments étaient encore en élévation dans la première moitié du XIXe siècle sous le nom de "Château Delay". c'est à l'intérieur de cette tour qu'une chapelle a été aménagée à une époque tardive (XVIIe ? XVIIIe ? ), type de réaménagement que l'on a déjà pu constater pour d'autres châteaux du Nord-Isère (Tournin, Vallin).
Le château fut détruit avant la guerre. La chapelle a été reconstruite en 1863 à l’emplacement de l’ancienne chapelle médiévale. Ce bâtiment en moellons calcaires disposés en assises irrégulières était autrefois rattaché à un logis. Il a été construit dans la pente et l’on peut voir ses fondations au nord. Cette petite chapelle était autrefois située au rez-de-chaussée d’une tour de château. On note la présence d’une meurtrière taillée dans un bloc et la grille de la porte est ajourée et ornée d’un décor régulier de fleur et de végétaux.
Des fouilles ont eu lieu sur le site (APPAS), qui ont livré un abondant mobilier en partie étudié, et principalement daté du XVIe siècle.