Χτίστηκε το 1902 από τον Ιταλό αρχιτέκτονα Βιταλιάνο Ποζέλι (Vitaliano Poselli) και χρησίμευε ως τόπος λατρείας για τους εξισλαμισμένους Εβραίους που είχαν εξισλαμιστεί, τους επονομαζόμενους Ντονμέδες (Dönme/Donmeh αφού ήτανε το τζαμί τους). 

Έχει δύο ορόφους και συμβαδίζει με την εκλεκτικιστική αρχιτεκτονική του 20ού αιώνα. Μετά την ανταλλαγή (1923-1924), στέγασε για μικρό διάστημα πρόσφυγες, και από το 1925 έως το 1963 χρησιμοποιήθηκε ως αρχαιολογικό μουσείο και το πιο παλιό της πόλης. Σήμερα είναι εκθεσιακός χώρος του Δήμου Θεσσαλονίκης. 

Η απόφαση να ανοίξει το Γενί Τζαμί για το Ραμαζάνι  ελήφθη από τη Γενική Γραμματεία Θρησκευμάτων, ενώ ο ιμάμης που πήγε στη Θεσσαλονίκη, επελέγη από το ελληνικό κράτος και είναι απεσταλμένος από το ισλαμικό τέμενος στην Αθήνα.