Het Byzantijnse kasteel in de stad Agios Dimitrios werd in de 12e eeuw gebouwd door de Eudaimonogiannides van Monemvasia. Het was een veilige natuurlijke vesting gebouwd op de 216 meter hoge rots, in de Kakia Lagkada Canyon, op 2 kilometer afstand van de noordoostelijke kust. Omdat het niet zichtbaar was vanaf zee, beschermde het de bevolking tegen piratenaanvallen. De enige toegang was vanaf de zuidwestelijke kant, via een zes meter hoge muur met kantelen, die vandaag de dag nog gedeeltelijk overeind staat. Aan de noord- en oostkant is het fort tegen de klif gebouwd, met huizen en kerken. Volgens Gillian Ince, een archeologe van de Britse Archeologische School die onderzoek deed naar Paliochora, waren er 23 kerken en 70 huizen in het fort, waarvan de meeste zijn ingestort. Sinds de bouw was het Agios Dimitrios fort een belangrijk residentieel en administratief centrum dat de overheersing van de Eudaimonogiannis familie versterkte. Het bleef actief in de daaropvolgende jaren onder de heerschappij van de Venetiaanse feodale families en daarna, toen het eiland in 1363 onder de directe controle van de Republiek Venetië kwam. In 1537, tijdens de Derde Ottomaans-Venetiaanse Oorlog, belegerde en plunderde Hayreddin Barbarossa, de belangrijkste admiraal van de Ottomaanse vloot, het Agios Dimitrios fort. Hij doodde veel van de inwoners en maakte slaven van anderen om ze te verkopen op de slavenmarkten van Constantinopel en Smyrna. Na de verwoesting van het fort besloten de Venetianen het te verlaten. Sindsdien is het niet meer bewoond geweest.