Отец, Алексей Николаевич, помещик Орловской и Тульской губернии был вспыльчивый, азартный, более всего любящий охоту и пение под гитару старинных романсов. В конце концов он, из-за пристрастия к вину и картам, растратил не только собственное наследство, но и состояние жены. Отец был на войне, волонтером, в крымской кампании, любил прихвастнуть знакомством с самим графом Толстым, тоже севастопольцем.

Но несмотря на эти пороки, его все очень любили за веселый нрав, щедрость, художественную одаренность. В его доме никогда никого не наказывали. Ваня рос, окруженный лаской и любовью. Мать проводила с ним все время и очень его баловала.