Die Halil Bey Moschee befindet sich im Zentrum der Halbinsel, in unmittelbarer Nähe zur Festung und direkt an den Straßen, die zur Akropolis und den Stadttoren der Mauer um den Landvorsprung führen. Man nimmt an, dass sie während der Zeit des Wiederaufbaus Kavalas um das Jahr 1530 errichtet wurde.
In diesem Gebiet wurde im Rahmen der Forschungsgrabungen des 12. Kuratoriums für Byzantinische Altertümer das erste christliche Bauwerk zur Gottesanbetung innerhalb der Stadtmauern entdeckt – eine dreischiffige frühchristliche byzantinische Kirche, die Agia Paraskevi geweiht war (die durch den Glasboden der Mosche zu sehen ist), sowie auch ein kleiner Friedhof aus der byzantinischen Epoche. Während der ersten Jahrhunderte der Türkenherrschaft in Griechenland kam es häufig vor, dass Moscheen am Standort ehemaliger Kirchen errichtet wurden oder christliche Gotteshäuser in Moscheen umgewandelt wurden.
Die Moschee stellte einst einen Teil eines umfassenderen Gebäudekomplexes dar, der auch eine Medresse (Islamschule mit acht Zimmern für die Schüler) umfasste, die ebenfalls noch in gutem Zustand erhalten ist.
Anfang des 20. Jahrhunderts wurde in diesem Gebäudekomplex auch eine Grundschule für Mädchen betrieben. In der Zeit zwischen 1930-1940 war in der Moschee die Philharmonie der Stadt Kavala untergebracht, daher trägt das Gebäude noch heute die Beinamen „Musikmoschee“ bzw. heute auch „Palia Mousiki“ (die alte Musik).
Nach den Renovierungs- und Umbauarbeiten, die vom Kuratorium für Altertümer und der Stadt Kavala durchgeführt wurden, können die Räumlichkeiten heute besichtigt werden. Sowohl die Innenräume als auch der Hof werden für verschiedene Ausstellungen und Veranstaltungen genutzt, während in den Räumlichkeiten der Medresse volkskundliche Sammlungen, Sozialdienste und „To Kastro“, der Kulturverein des Stadtviertels Panagia, untergebracht sind.
