Cette ancienne église élevée en 527 par l’Empereur Justinien porte le nom de « Petite Sainte-Sophie » parce que l’on suppose qu’elle devait avoir une riche décoration intérieure et que l’architecture fait naturellement pensée à sa grande sœur.
Le pape Vigilius vint y prier en 555 alors que les relations entre Rome et Constantinople étaient encore au beau fixe, sur l’invitation de l’impératrice Théodora. Le pape ayant eu des propos peu obligeant sur l’empereur, il fut excommunié par le patriarche de Constantinople qui était proche de Justinien. Après la Conquête ottomane, l’église fut convertie en mosquée par le chef des eunuques blancs, Hüseyin Ağa. Pendant la guerre entre l’Empire ottoman et la Russie, de nombreux bulgares musulmans, trouvèrent refuge entre les murs du jardin de la mosquée.

Il ne reste pratiquement rien de la décoration d’origine, mais le bâtiment est en bon état depuis les restaurations de 1937. Au sud, entre deux colonnes qui formaient l’entrée impériale, on peut encore voir les monogrammes de Théodora et de Justinien.
A l'époque byzantine, l'église se trouvait aux limites sud-ouest du domaine impérial du Palais Sacré. Elle possaidait des dépendances, dont un monastère au nord. Au sud, une autre église, dont on sait peu de chose, mais dont le nom était St Pierre, était construite collée à S.S. Serges et Baccus. Un mur de cette église est encore visible.

La mosquée Küçük Aya Sofya a subi une restauration en  2006 / 2007.