Начало книги посвящено рассказам няньки о переживаниях семьи Герцена в Москве в 1812 году, когда город находился под властью французских войск; сам Александр Иванович в то время был ребёнком. Завершается произведение описанием европейских впечатлений автора в 1865–1868 годах. Воспоминания представляют собой не столько последовательный рассказ, сколько совокупность очерков и публицистических статей, причём только первые пять частей из восьми сохраняют хронологическую последовательность и повествовательную структуру; остальные части состоят из разрозненных текстов, многие из которых ранее публиковались отдельно. Герцен сравнивал своё произведение с постоянно расширяющимся домом, состоящим из пристроек и надстроек.
Первая часть, охватывающая период с 1812 по 1834 год, преимущественно описывает детство и юность в доме отца — человека умного, склонного к ипохондрии, который вместе с друзьями и родственниками воспринимается Герценом как представитель ушедшего XVIII века. Значительное влияние на юного Герцена оказали события 14 декабря 1825 года. В 1827 году он знакомится с дальним родственником Николаем Огарёвым, будущим поэтом и близким соратником в организации русской типографии в Лондоне. Оба мальчика испытывали глубокую симпатию к Шиллеру и воспринимали свою дружбу как союз политических заговорщиков, дав клятву посвятить жизнь борьбе за идеалы. Взрослея, Герцен сохраняет радикальные политические убеждения, развивая их в период учёбы на физико-математическом факультете Московского университета.
Вторая часть охватывает 1834–1838 годы и описывает арест и ссылку Герцена, Огарёва и их окружения по обвинению в оскорблении императора. Герцен служит в Вятке в канцелярии губернского правления, занимаясь статистическим отделом, при этом воспоминания содержат множество печально-ироничных эпизодов из жизни губернского управления. Особое место занимает образ Александра Львовича Витберга, с которым Герцен знакомится в ссылке; описывается его грандиозный, но нереализованный проект храма, посвящённого событиям 1812 года на Воробьёвых горах. В 1838 году Герцен переводится во Владимир.
Третья часть посвящена романтической истории любви Герцена и Натальи Александровны Захарьиной, незаконнорожденной дочери его дяди, воспитанной в семье полубезумной и враждебной тётки. Родственники не одобряют их брак, однако в 1838 году Герцен тайно венчается с Натальей, увозя её из Москвы, куда ему официально запрещён въезд.
Четвёртая часть охватывает 1840–1847 годы и описывает интеллектуальную среду Москвы, Петербурга и Новгорода. Герцен и Огарёв, вернувшись из ссылки, сближаются с молодыми гегельянцами во главе с Станкевичем, в частности с Белинским и Бакуниным. В главе «Не наши» рассматриваются взгляды славянофилов — Хомякова, Киреевских, Аксакова, Чаадаева — и их общие черты с западниками, а также объясняется, почему славянофильство не следует отождествлять с официальным национализмом, и обсуждаются вопросы русской общины и социализма. В 1846 году по идеологическим разногласиям происходит разрыв отношений Герцена и Огарёва со многими знакомыми, в частности с Грановским, с которым у Герцена возникает личный конфликт на почве веры в бессмертие души. Вследствие этого Герцен принимает решение покинуть Россию.
Пятая часть рассказывает о первых годах жизни Герцена в Европе (1847–1852), включая первые впечатления от Парижа, участие в национально-освободительном движении в Риме, знакомство с «Молодой Италией», краткие описания февральской революции 1848 года во Франции и польской эмиграции с её мистическим мессианством. Описываются июньские события 1848 года, бегство в Швейцарию и прочие эпизоды. В этой части повествование прерывается очерками и статьями, среди которых «Западные арабески», где Герцен выражает пессимизм по поводу упадка западной цивилизации под влиянием мещанства и культом материального благополучия. Он видит спасение в идее социального государства. В главах, посвящённых Прудону, Герцен анализирует личность и идеи французского мыслителя, не соглашаясь с его жертвованием личности ради справедливого государства и критикуя собственническое отношение Прудона к женщине. В этой части также содержится драматическая история семьи Герцена в последние годы жизни Натальи Александровны, опубликованная спустя долгое время после описываемых событий. Тяжёлые последствия июня 1848 года в Париже и болезнь дочери оказывают разрушительное воздействие на Наталью Александровну, склонную к депрессиям. Её отношения с немецким поэтом и социалистом Гервегом, близким другом Герцена, осложняются, что приводит к откровенному разговору с мужем и готовности к разводу, однако супруги остаются вместе. После примирения семья проводит несколько счастливых месяцев в Италии. В 1851 году в кораблекрушении погибают мать Герцена и его маленький сын. Между тем Гервег не оставляет попыток преследовать Герценов и распространять о них слухи, что приводит к конфликтам и тяжёлым переживаниям Натальи Александровны, умершей в 1852 году. Пятая часть завершается очерками о русских эмигрантах, с которыми Герцен активно общался, включая портреты Н. И. Сазонова и А. В. Энгельсона, отражающие типичные черты поколения герценовской молодёжи и их внутренние противоречия.
В шестой части автор переезжает в Англию после смерти жены, стремясь найти утешение в работе над «Былым и думами» и организацией русской типографии. Он описывает своё одиночество в Лондоне, городе эмигрантов, и рассказывает о знакомстве с ведущими деятелями европейского социалистического и национально-освободительного движений, таких как Маццини, Ледрю-Роллен, Кошут, а также об отношениях с Гарибальди. В то же время он отмечает присутствие в Лондоне шпионов и уголовников, выдающих себя за политических изгнанников. Герцен уделяет внимание национальным особенностям эмигрантов разных стран и их взаимодействию, в том числе критикует Маркса и его сторонников, считая их нечистоплотными политическими оппонентами.
Седьмая часть посвящена русской эмиграции, деятельности свободной русской типографии и изданию «Колокола» в 1858–1862 годах. Герцен описывает неожиданный визит полковника, представляющегося ему как начальник, и анализирует смену популярности «Колокола» после московских пожаров и поддержки поляков во время восстания 1862 года.
Восьмая часть, охватывающая 1865–1868 годы, не имеет единой темы и представляет собой набор впечатлений от различных европейских стран. Европа продолжает казаться Герцену царством мёртвых, о чём свидетельствуют главы о Венеции и о «пророках», обличающих императорскую Францию. Особое место занимает Швейцария, которую автор считает единственным местом, где ещё возможно жить. Завершают произведение «Старые письма» — переписка с Н. Полевым, Белинским, Грановским, Чаадаевым, Прудоном, Карлейлем. Герцен противопоставляет письма книге, отмечая, что в них прошлое не давит так сильно, а их случайное содержание и будничный тон сближают читателя с автором. Таким образом, письмо становится похожим на всю книгу воспоминаний, где наряду с размышлениями о европейской цивилизации сохраняется и элемент случайного, повседневного.
