В город Дрёмов прибывает Илья Артамонов — привлекательный и внушительный мужчина, который сообщает жителям о своём намерении построить на берегу реки фабрику по производству полотна. Ранее он служил приказчиком у князей, получил свободу и денежное вознаграждение за усердную службу, после чего и приехал строить своё предприятие. У Ильи три сына: старший Пётр, задумчивый и часто дергающий себя за ухо; Алексей, весёлый и трудолюбивый парень; и Никита, горбун, некрасивый, увлечённый садоводством и растениями.
Илья обращается в деревню к её старосте, Евсею Митричу Баймакову, с просьбой выдать его сына Петра замуж за дочь Баймакова Наталью. Местные жители настороженно относятся к Илье, считая его человеком умным и не таким, как все, особенно учитывая его планы строительства. Баймаков долго колеблется, но на смертном одре разрешает женитьбу Натальи на Петре. После свадьбы Илья Артамонов начинает тайные отношения с Ульяной, вдовой Баймакова, что вызывает осуждение в селе, однако Ульяна остаётся верна своей любви к Илье.
Строительство фабрики продолжается, дело развивается. У Натальи рождаются дочери, которые долго не живут, пока, наконец, не появляется сын Илья. Старый Илья Артамонов погибает при несчастном случае: во время перевозки машины для фабрики у него лопается сосуд в голове. После его смерти управление фабрикой переходит к Петру, который, однако, не пользуется особым уважением со стороны своего сына Ильи.
У Натальи рождаются ещё две дочери — Татьяна и Елена, а также сын Яков. В семье царит относительное единство, но вскоре становится известно о чувствах Никиты к Наталье. Испытывая безысходность, Никита пытается покончить с собой, но его спасают и он решает уйти в монастырь. Пётр осознаёт, что управление фабрикой ему не по душе, но продолжает заниматься делом отца из чувства долга. Алексей участвует в управлении менее активно, у него появляется невеста Ольга.
Семья проявляет черты интеллигенции: дети стремятся получить образование в гимназиях, тогда как Пётр выступает против этого, считая, что нужно жить в деревне и заниматься делом предков. У Алексея и Ольги рождается сын Мирон. Несмотря на сопротивление Петра, дети уезжают учиться. Яков более близок Петру, чем Илья, которого он просто отвергает. Илья выделяется умом, в то время как Яков кажется менее сообразительным и предпочитает оставаться в стороне от разговоров. Отношения Петра с Натальей ухудшаются из-за её простоты, а он сам заводит любовниц.
Со временем Алексей умирает, Мирон женится на богатой москвичке Анне. Никита также умирает, и из трёх братьев остаётся в живых только старший Пётр. Начинается Первая мировая война. Яков переезжает в Москву, где подвергается насилию и вскоре умирает. Вскоре разгорается восстание: рабочие отказываются работать, фабрика останавливается, хозяйство приходит в упадок. Пётру Артамонову 74 года, он медленно умирает.
