Les deux tours sont construites côte à côte derrière la mosquée de Mimar Sinan, Ayvaz Efendi. Au sud, la Tour d’Isaac Ange, est antérieure à celle d’Anemas au nord. La première faisait partie du système de défense des remparts de l’empereur Héraclius, tandis que la seconde fut érigée afin de fortifier le promontoire du palais d’Alexis Comnène et former un belvédère. Après l’abandon de cette partie du palais, les deux tours furent transformées en prison et portèrent le nom de deux empereurs qui y furent écroués.
Les salles (cellules) souterraines sont visibles sur trois étages, une restauration a été entamée en 2005.