Το μέγαρο όπου στεγάζεται σήμερα ο Δήμος Καβάλας αποτελεί ένα από τα πιο εντυπωσιακά κτίσματα της πόλης, με μια μοναδική αρχιτεκτονική γραμμή, που φαντάζει «ξένη» μέσα στην πόλη της Καβάλας και παραπέμπει σε μικρογραφία ουγγρικού πύργου.
Η οικοδόμησή του τοποθετείται στο τέλος της δεκαετίας του 1890. Ανήκε στην ιδιοκτησία του Ούγγρου καπνεμπόρου βαρόνου Pierre Herzog και χρησιμοποιήθηκε ως κατοικία και επαγγελματική έδρα. Έχει έντονα ρομαντικά στοιχεία παλαιών μεσαιωνικών πύργων, γοτθικά τόξα στους πυργίσκους και στα μπαλκόνια, δύο βενετικές γοτθικές αψίδες εκατέρωθεν της πύλης, δακρυρροή πάνω από τα παράθυρα (dripstone) και προεκτεινόμενο παράθυρο (oriel window), καθαρό δείγμα γοτθικής αναγέννησης. Το 1937 το κτίριο αγοράστηκε από το Δήμο Καβάλας και μέχρι σήμερα, στεγάζει το Γραφείο Δημάρχου και κάποιες από τις διοικητικές του υπηρεσίες.