Александр Иванович Казарский родился 16 июня 1798 года на белорусской земле в местечке Дубровно Витебской губернии в семье отставного губернского секретаря, управляющего имением князя Любомирского. Отец Саши — Иван Кузьмич Казарский, мать Татьяна Гавриловна. В семье Казарских было пятеро детей: Прасковья, Екатерина, Матрена, Александр и Иван.  30 августа 1813 года волонтер Александр Казарский был записан в Черноморский флот гардемарином, е еще через стал мичманом. Надеясь найти живое дело в пограничной службе, Казарский подал рапорт о переводе его на Дунайскую флотилию и был назначен в Измаил командиром отряда мелких гребных судов.