Strax intill Gråborg ligger ruinerna av Sankt Knuts kapell. Kapellet uppfördes under 1100-talet och övergavs under 1500-talet och dess enda klocka konfiskerades till kronan 1560. Idag finns endast den västra gaveln och triumfbågen kvar. En stavkorshäll finns numera i Algutsrums kyrka liksom ett altarskåp som är ett av Ölands största. Kapellbyggnaden har troligen omgivits av en mindre kyrkogård, såväl skelett som gravstenar har påträffats i närheten.
Namnet härstammar från den danske helgonkonungen Knut som blev dödad i ett uppror i Odense år 1086. Namnet tyder på att platsen har haft kontakter med Danmark och de danska Knutsgillena. I närheten ligger också Borgs by, som sedan 1945 ägs av Kungliga Vitterhets Historie och Antikvitets Akademien.
