Воспоминаний о первых годах жизни у него почти не осталось:

«Тогда мне казалось, да и теперь иногда кажется, что я что-то помню из жизни в Воронеже, где я родился и существовал три года. Но всё это вольные выдумки, желание хоть что-нибудь найти в пустоте памяти о том времени. Довольно живо вижу одно, нечто красивое: я прячусь за портьеру в дверях гостиной и тайком смотрю на нашу мать на диване, а в кресле перед ней на военного: мать очень красива, в шелковом с приподнятым расходящимся в стороны воротником платье с небольшим декольте на груди, а военный в кресле одет сложно и блестяще, с густыми эполетами, с орденами, — мой крёстный отец, генерал Сипягин».

«Ещё вспоминается, а может быть это мне и рассказывала мать, что я иногда, когда она сидела с гостем, вызывал её, маня пальчиком, чтоб она дала мне грудь, — она очень долго кормила меня не в пример другим детям».

  В.Н. Муромцева-Бунина. Жизнь Бунина

Недалеко от их дома находился магазин, куда Ваня, по словам матери, «моложе двух лет ходил за конфеткой».

Вот, пожалуй, и всё о его младенчестве, которое в «Жизни Арсеньева» отразится в следующих строках:

«Младенчество своё я вспоминаю с печалью. Каждое младенчество печально: скуден тихий мир, в котором грезит жизнью ещё не совсем пробудившаяся для жизни, всем и всему ещё чуждая, робкая и нежная душа».