Le prince Alexandre Ypsilanti était de l’aristocratie phanariote et prince de Valachie. Le sultan Selim III fit confisquer tous les biens de la famille après la trahison du prince.
En 1799, les Français envahissaient l’Egypte, territoire ottoman et mettaient fin à 265 ans de diplomatie entre les deux pays. Les Français et Levantins furent jetés en prison ou durent prendre le chemin de l’exil. Le palais de France à Péra fut saisit comme toutes les autres possessions françaises. La situation se normalisa quand les Français aidèrent les Ottomans à lutter contre les Anglais qui avaient fait un bombardement naval d’Istamboul. En reconnaissance, le sultan permit le retour des Français et Levantins, la restitution de leurs biens et offrit le palais Ipsilanti comme résidence d’été à Napoléon. En 1913, un incendie détruisit une grande partie des bâtiments.