Den lille ruin der i dag kan ses ved siden af Gudhjem Kirke, er resterne af Sct. Anna Kapel, det sidste af de oprindelig syv kystkapeller. I 1893 stod den nye kirke færdig og kapellets skæbne stod hen i det uvisse. Man havde dog ønsker om at benytte pladsen til 30 nye gravpladser.
Men ikke alle ønskede at kapellet skulle væk, man havde endda søgt ministeriet om en fredning men fået afslag, dog skulle der stå ca. 1 m mur tilbage. Da modstanderne af nedrivningen så ville forelægge nationalmuseet sagen, skyndte man sig at sprænge kapellet væk med dynamit inden en fredning måske kom på tale. Ruinen blev fredet i 1911.
Man er lidt i tvivl om hvornår kapellet egentligt blev opført, men skønner det til at være omkring 12 – 1300 tallet. Kapellet er opført som gotisk langhus med et senmiddelalderligt våbenhus, dog viser en eftergravning i 1957 at bygningen oprindeligt er byget som et romansk kapel og ændret til gotisk langhus i middelalderen. Bygningen målte 17,5 x 6,5 m og havde en højde på ca. 3,7 m. Efter reformationen i 1536 blev der ved bygningens nordside tilføjet et våbenhus. Under en hovedrenovering i 1776 blev hele skibet forhøjet med 1 m, hvor der fortrinsvis blev anvendt sandsten.
Murværket var solidt opført som en kassemur af rå granit med fyld af rullesten og murbrokker af munkesten. Ved åbningerne omkring dør og vinduer var benyttet teglsten. Taget bestod oprindeligt af munk- og nonnetagsten, der blev udskiftet under hovedrenoveringen i 1776. I denne forbindelse gav man kapellet et nyt tagværk med en muret spidsgavl i vest og en halvvalm mod øst. Over vestgavlen satte man et pyntespir og på vestgavlen satte man en klokkestol, der i 1870 blev erstattet af en ny, udformet som en kikkenborg og placeret bag spiret.
Indvendigt var kirken smykket med kalkmalerier fra omkring 13 – 1400 tallet. Alterbordet er til dels bevaret, det er muret op at østgavlen med dårligt muret skal af munkesten. Altertavlen, sengotisk, fra omkring 1475 – 1500, har siden nedrivningen været deponeret på Bornholms Museum. Det er en 3-fløjet skabstavle med reliefskårne figurer. Midterskabet indeholder et relief der forestiller Marias dødsleje. I sidefløjene er helgelfigurer, der har været otte, men en er forsvundet.
I 1940 blev der på kapellets vestvendte kapelgavl opsat en mindetavle i sten af Bornholms Marineforening. Mindetavlen blev opsat på 100 årsdagen for 11 finske sømænd der forliste med deres skibe “Dyggan” og “Alexander” ved Gudhjem d. 22. maj 1840.
