Пятидесятилетний крепостной мужик Антон, худощавый и сгорбленный, с потухшими глазами, занимается заготовкой дров на зиму. Вернувшись в свою избёнку, он находит там нищую старуху Архаровну, которая не столько просит милостыню, сколько выискивает добро у односельчан. Ужин у Антона скромен — квас с хлебом, но он не жалуется и даже делит свою долю с детьми. В разговоре с Архаровной он вспоминает о брате и сыне старухи, которых призвали в солдаты, и от них давно нет никаких вестей. Размышления мужика направлены скорее на себя самого: он вновь обдумывает тяжёлую судьбу, его жизнь угнетает управляющий, а приближается время подушной подати, денег нет, и Никита Федорыч угрожает отправить его в солдаты, тогда жена и дети останутся без средств к существованию.
Не успев выйти из-за стола, Антона вызывают к управляющему, который, человек приземистый и грубый, без внимания к оправданиям требует продать последнюю лошадь, чтобы рассчитаться с барином. Несмотря на слёзы и мольбы жены, Антону приходится отправиться на ярмарку в город и продать животное. В дороге он встречает мельника, которому давно должен за помол, и тот тоже требует оплаты. На ярмарке растерянный и запуганный мужик сталкивается с цыганами и мошенниками, которые под видом помощи лишь сбивают его с толку. День проходит впустую — Антон боится продешевить и не решается продавать лошадь. Ночью «друзья» ведут его на постоялый двор, где уставшего и голодного мужика подпаивают, а утром он обнаруживает пропажу животного.
Хозяин постоялого двора, сговорившись с грабителями, требует оплатить ужин и выпивку, и Антон вынужден расстаться с последним полушубком. Знающие советуют искать лошадь в одной из соседних деревень, хотя и предупреждают, что без выкупа его поиски бесполезны. В лавке, где собрались советчики, обсуждается беда Антона. Один из новых постояльцев, знакомый с мужиком, объясняет, что управляющий недолюбливает его, считая, что жалобы на Никиту Федорыча исходят от Антона.
Тем временем Антон бродит по грязным дорогам в поисках лошади, не замечая ни дождя, ни усталости, ни холода. Поиски оказываются тщетными, и рано утром он возвращается в деревню, направляясь к управляющему, но караульщики не пускают его — Никита Федорыч ещё спит. В отчаянии Антон бежит домой и встречает Архаровну. Вспоминая слухи о её скрытом богатстве, он умоляет помочь деньгами. Старуха ведёт его в овраг, где, по её словам, спрятаны деньги. Там Антона хватают двое мужчин — один из них его брат Ермолай, другой — сын Архаровны. Оба беглые солдаты, занявшиеся воровством и разбоями.
Ермолай рассказывает о недавнем ограблении и обещает помочь брату, предложив сначала зайти в кабак. В кабаке их задерживают по подозрению в разбое, а Антона берут за сообщника. Через неделю в деревне собирается толпа, желающая увидеть арестованных разбойников. Обсуждают судьбу Антона, обвиняя его во всех преступлениях в округе. Процессия с Никитой Федорычем, солдатами и арестантами проходит мимо, а жена с детьми плачет вслед. Когда Антону надевают берёзовые колодки, он с видом онемения медленно поднимает голову и плачет.
Ермолай и сын старухи ведут себя дерзко, но в последний момент брат просит односельчан не злословить и не забывать их. Телеги с арестантами удаляются, и снег начинает покрывать землю, усиливается холодный ветер. Никита Федорыч, удовлетворённый тем, что расправился с «разбойниками», провожает их взглядом.
