Судя по надписи над парадной дверью, особняк был построен «табачным бароном» Димитрисом Токосом в 1879 году. В особняке располагалось итальянское консульство, а с 1879 до 1880 года там работала школа Греческой православной общины.
После продажи здания в 1911 году, в нем размещалось греческое вице-консульство до освобождения Кавалы от болгарских захватчиков в 1913 году, затем, до 1937 года здание служило городской ратушей. После Второй мировой войны в особняке располагалась частная гимназия Папасидерис.В 1929 году Элефтериос Венизелос посетил Кавалу и держал речь перед народом с балкона красивого особняка. В 1979 году здание было куплено Министерством культуры. Отреставрированное здание было отдано Финансовой инспекции древностей Кавалы и Тасоса. В архитектуре особняка Токоса сочетается османский неоклассицизм с элементами барокко. Видны следы романтизма и эклектики – стилей, преобладавших в Европе в конце XIX и начале XX века.Достойным особого внимания декоративным элементом является изогнутый фронтон крыши.
Сегодня в здании расположена Инспекциядревностей Кавалыи Тасоса.