În secolul al XIII-lea, cu două sute de ani înaintea martiriului Sfinților Mucenici Rafail, Nicolae și Irina din Lesvos, a existat pe Colina Karyes, pe dealul din satul Thermi, o mănăstire de călugărițe. 

Mănăstirea la acea vreme era un aşezământ mare, construit în secolul al VIII-lea probabil de împărăteasa Irina (792-802), care a fost exilată pe Insula Lesvos. Originea imperială a mănăstirii i-a fost dezvăluită într-o viziune din 1961 lui Kostas Kanellos din Mitilene, care i-a văzut pe sfinții din Thermi cu un ofițer militar. Ofițerul a spus că a venit din Kalloni, unde locuia într-o mănăstire și a explicat cum o împărăteasă a construit mănăstirea din Karyes.

În 1235, mănăstirea a fost atacată, demolată și incendiată de către turci. Multe călugărițe au fost ucise. Stareța din acea vreme, Olimpia, era o călugăriță înzestrată cu multe virtuți. Mama Sfintei Olimpia se trăgea din Constantinopol și provenea dintr-o familie de preot, cu patru fete și un băiat. Acesta din urmă a devenit arhimandrit, trei dintre surori s-au căsătorit și una dintre fete, Dorothea a devenit stareță la Mănăstirea Karyes din Lesvos.

Mama Sfintei Olimpia s-a căsătorit cu un preot din Peloponez. Acolo s-a născut și a crescut Olimpia în evlavia credinței ortodoxe. Când Olimpia avea zece ani, ambii părinți au murit și, prin urmare, a fost trimisă la Karyes în Mitilene la mătușa ei, stareța Dorothea. Acolo a hotărât să-și dedice întreaga sa viața Domnului, iar la 19 ani a fost tunsă în monahism. După adormirea mătușii sale, la vârsta de 20 de ani, devine stareța Mănăstirii de pe Colina Karyes, îndrumând duhovnicește 30 de calugărițe.

Pe 11 mai, în anul 1235, pirații au atacat mănăstirea și au încercat la început să pângărească călugărițele. Unele au scăpat și au fugit în munți, dar multe au fost măcelărite de turci. Una dintre călugărițele în vârstă, maica Eufrosina, care era bolnavă și nu putea să meargă și să se ascundă, a fost chinuită de atacatori. A fost suspendată de un copac și arsă de vie. Tot ce a rămas din ea a fost doar cenuşă. Stareța Olimpia a ales și ea să îndure chinurile îngrozitoare. Pirații i-au ars carnea, apoi au pregătit o tijă de fier încinsă și i-au bătut-o în ureche, forțând-o să iasă de cealaltă parte. De asemenea, a fost torturată cu flăcări de lumânări. Apoi au dezbrăcat-o și au întins-o pe o ușă de fier și au lipit-o acolo de o scândură de lemn folosind douăzeci de cuie mari. Pirații au luat apoi trei cuie mai mari decât celelalte și i le-au bătut în cap. Două dintre cuie au fost bătute în fiecare ureche. Al treilea cui i-a pătruns prin craniu. La sfârșit, pirații au dat foc mănăstirii. A fost îngropată cu tot cu ușa pe care a fost țintuită cu cuie. 

Din mănăstire au mai rămas doar niște ruine timp de aproximativ 150 de ani, până când o femeie evlavioasă și bogată pe nume Melpomene s-a angajat să o reconstruiască, deși de data aceasta avea să fie o mănăstire pentru călugări. În această mănăstire, Sfinții Rafail, Nicolae și Irina aveau să sufere martiriul din mâna turcilor în anul 1463.

A fost voia Domnului ca sfintele moaște să fie aflate după aproape 500 de ani, iar descoperirea lor să se facă chiar sub îndrumarea sfinților mucenici. Ei s-au arătat în vise sau vedenii unor oameni credincioși cărora le-au descoperit mucenicia lor, dar și unde trebuiau să sape ca să găsească urme ale sfintei mănăstiri.

Când s-a găsit mormântul Sfintei Olimpia, au fost găsite și cuiele cu care a fost pironită. Unul dintre aceste cuie a fost luat de o femeie evlavioasă și păstrat cu multă grijă. Acest obiect, care fusese cândva unealtă a crimei, era acum acoperit de mir binemirositor care niciodată nu se termina. Un monah a aflat aceasta și l-a cerut spunând: „Dă-mi cuiul să însemnez cu el în chipul crucii ochii surorii mele care este în primejdie să orbească și se află la spital pentru operație”. Minunea s-a săvârșit: ochii bolnavei s-au vindecat. S-au mai deschis și ochii duhovnicești ai multora din cei care, privind, nu vedeau.