Мечеть Халил Бей находится в центре полуострова, недалеко от крепости, на перекрестке дорог, которые ведут к акрополю и городским воротам в окружающих полуостров крепостных стенах. Вероятнее всего, строительство мечети приходится на период реконструкции города, которое происходило около 1530 года.
В этом регионе в ходе археологических раскопок, ведущихся 12-йИнспекцией Византийских древностей, было обнаружено первое христианское строение для богослужения в огражденном городе — раннехристианская византийская церковь Святой Параскевы (ее можно увидеть через стеклянный пол в мечети), а также небольшое кладбище византийского периода.В первые века османского владычества распространенной практикой являлось строительство мечетей на месте православных храмов и превращение церквей в мусульманские молитвенные дома.
Мечеть являлась частью более крупного комплекса, куда входил и «медресес» — религиозное образовательное учреждение. Здесь был кабинет для преподавательского состава и восемь комнат для учеников. Все эти помещения сохранились в хорошем состоянии до наших дней.
В начале ХХ века здесь действовала начальная школа для девочек С 1930 до 1940 года здесь размещался филармонический оркестр Кавалы. Отсюда пошло название «Музыкальная мечеть». Сегодня ее называют «Старая музыка».
После работ по реконструкции, проведенных Инспекцией древностей и городскими властями Кавалы, место стало открытым для посетителей, и теперь используется для проведения разного рода выставок и мероприятий как внутри здания, так и на территории вокруг него. В помещениях медресесанасположены фольклорные общества, социальные службы и Культурное общество облагораживания поселка Панагия под названием «Замок».
