Bangunan ini berdiri di Istanbul, di distrik Fatih dan di lingkungan Kumkapı, tidak jauh dari Laut Marmara, dekat reruntuhan Istana Besar dan di selatan Hippodrome. Sekarang dipisahkan dari laut oleh jalur kereta api pinggiran Sirkeci-Halkalı dan jalan pesisir, Kennedy Avenue.
Bangunan Bizantium ini didirikan pada abad keenam oleh Justinian, yang kemungkinan digunakan sebagai model untuk Hagia Sophia (“Kearifan Suci”), dan merupakan salah satu bangunan Bizantium awal yang paling penting di Istanbul. Itu diakui pada saat itu sebagai perhiasan untuk seluruh kota, dan seorang sejarawan modern dari Kekaisaran Romawi Timur telah menulis bahwa gereja, “oleh orisinalitas arsitektur dan kemewahan dekorasi ukirannya, menduduki peringkat ke dua di Konstantinopel kedua setelah St. Sophia sendiri “.
Pembangunan Gereja Saints Sergius dan Bacchus ini antara 527 dan 536 AD (hanya beberapa saat sebelum pembangunan Hagia Sophia antara 532 dan 537). Kemudian setelah penaklukan kekaisaran Utsmani pada Konstantinopel pada tahun 1453, gereja tetap tidak tersentuh hingga masa pemerintahan Bayezid II. Kemudian (antara 1506 dan 1513) Gereja diubah menjadi sebuah masjid oleh Hüseyin Aga, penjaga Bab-ı-Saadet (The Gate of Felicity di Ottoman Turki) di kediaman Sultan, Istana Topkapı. Pada saat itu serambi dan madrasah ditambahkan ke gereja.
Karena meningkatnya ancaman terhadap keadaaan bangunan, Little Hagia Sophia dimasukkan ke dalam daftar pengawasan UNESCO tentang monumen yang terancam punah. Dana Moneter Dunia menambahkannya ke Daftar pengawasan dari 100 Situs Paling Terancam Punah pada tahun 2002, 2004, dan 2006. Setelah restorasi ekstensif yang berlangsung selama beberapa tahun dan berakhir pada bulan September 2006, Masjid ini telah dibuka kembali untuk umum dan untuk ibadah.