В вступительной части рассказывается о Сейлеме — родном городе автора, о его предках-пуританах и о его службе в таможне, где он обнаруживает рукопись Джонатана Пью, повествующую о жизни Эстер Прин, жившей в конце XVII века. Вместе с рукописью найден был красный лоскут с вышитой буквой «А», символизирующей позор. После увольнения автор возвращается к литературной деятельности, используя найденные материалы.
Эстер Прин выходит из бостонской тюрьмы с младенцем на руках. На ней платье с вышитой алой буквой «А» — символом прелюбодеяния. Она подвергается общественному осуждению и наказанию — должна стоять на помосте под враждебными взглядами толпы и носить знак позора на груди. Эстер отказывается назвать имя отца ребенка. Во время наказания она замечает в толпе незнакомого мужчину с проницательным взглядом и сгорбленной спиной. Он объясняет, что недавно освободился из плена у индейцев и пытается получить выкуп. Ему сообщают, что Эстер — жена учёного, который задержался в Европе и, вероятно, погиб. Суд приговорил ее к общественному позору и пожизненному ношению алой буквы, однако многих возмущает её молчание относительно отца ребенка. Старейший священник Джон Уилсон и молодой пастор Димсдейл призывают Эстер раскрыть имя грешника, но она упорно хранит молчание.
В тюрьме к Эстер приходит незнакомец, назвавшийся Роджером Чиллингуортом, который оказывается её мужем. Он успокаивает ребенка и оказывает ей помощь, обещая не мстить ни ей, ни ребенку. Чиллингуорт признает, что брак с молодой женой оказался ошибкой, и оба причинили друг другу боль. Он пытается узнать имя возлюбленного Эстер, но она отказывается. Муж требует поклясться в молчании о его личности и родстве. Он принимает решение во что бы то ни стало выяснить личность соперника и отомстить ему.
После освобождения Эстер обосновывается в заброшенном доме на окраине Бостона и зарабатывает рукоделием. Она искусная вышивальщица, но большую часть заработка жертвует бедным, которые зачастую оскорбляют её. Её дочь Перл красива, но отличается непокорным и изменчивым характером; мать испытывает трудности в воспитании. Перл с ранних лет знает о позоре матери — алая буква стала первым её впечатлением. Девочка выделяется среди сверстников и не играет с ними, что вызывает подозрения и страх у горожан. Эстер не расстается с дочерью и всегда держит её при себе.
Однажды мать и дочь приходят к губернатору с заказом на вышитые перчатки, но губернатор отсутствует. Вместе с ним возвращаются священники Уилсон и Димсдейл, которые обсуждают необходимость забрать Перл у матери и передать в другое воспитание, сомневаясь в христианском духе её воспитания. Перл упрямо отказывается раскрыть происхождение, заявляя, что была найдена матерью в розовом кусте у тюрьмы. Священники в ужасе от такого ответа и решают забрать девочку, однако благодаря заступничеству пастора Димсдейла Перл остается с матерью.
Чиллингуорт, благодаря медицинским знаниям и набожности, завоевывает уважение в Бостоне. Он становится духовным наставником преподобного Димсдейла, здоровье которого ухудшается. Между врачом и священником возникает тесная связь. Чиллингуорт, стремясь раскрыть тайну Димсдейла, все больше погружается в чувство мести. Он провоцирует пастора, утверждая, что его болезнь вызвана внутренней душевной раной, и настаивает на откровенности. Во время одного из приступов Димсдейл засыпает, и Чиллингуорт, воспользовавшись моментом, обнаруживает на его груди знак греха, что приносит ему торжество и усиливает стремление мучить священника.
Однажды ночью Димсдейл приходит на рыночную площадь и становится у позорного столба. Эстер с Перл проходят мимо и присоединяются к нему на помосте. Девочка спрашивает, будет ли пастор стоять с ними завтра, но он отвечает, что в день Страшного суда они встанут все вместе перед великим судьей, а сегодня дневной свет не должен видеть их вместе. Небо озаряется светом, возможно, метеором, и они замечают Чиллингуорта, пристально наблюдающего за ними. Димсдейл выражает страх перед ним, но Эстер, связанная клятвой, не раскрывает его тайн.
Проходят годы, Перл исполняется семь. Благодаря благородному поведению и помощи нуждающимся жители начинают воспринимать Эстер с уважением, а алая буква становится для них символом внутренней силы. Встретив Чиллингуорта, Эстер замечает его перемену — лицо учёного приобрело жестокое выражение, улыбка стала гримасой. Во время их первой за долгое время беседы Эстер просит мужа не мучить Димсдейла, которому страдания от его рук страшнее смерти. Чиллингуорт объясняет, что месть за неё уже свершилась посредством алой буквы. Эстер умоляет его отказаться от ненависти, предлагая прощение как путь к спасению, но он отвергает эту возможность, оставаясь пленником злобы и мести.
Эстер решает раскрыть Димсдейлу, что Чиллингуорт — её муж, и ищет с ним встречу в лесу. Пастор открывает ей свои страдания от двойной жизни и лицемерия окружающих. Узнав правду о Чиллингуорте, он приходит в ярость, обвиняя Эстер в том, что открыл свои раны врагу, но прощает её. Они считают, что грех мужа страшнее их собственного, так как он посягает на святость человеческого сердца. Осознавая, что Чиллингуорт замышляет новые козни, Эстер предлагает Димсдейлу бежать и начать новую жизнь; она договаривается со шкипером судна, отправляющегося в Бристоль, о перевозке троих.
Накануне отплытия Димсдейл готовится произнести проповедь в день выборов, хотя чувствует приближение болезни и помутнение сознания. Чиллингуорт предлагает помощь, но получает отказ. На рыночной площади собирается народ для слушания проповеди. Эстер видит среди толпы шкипера и узнаёт, что Чиллингуорт тоже плывёт с ними. Священник произносит вдохновенную речь и решает признаться в грехе перед людьми. Чиллингуорт пытается отговорить его от публичного покаяния, но Димсдейл просит Эстер помочь взойти на помост. Он становится у позорного столба и открыто признаёт свою вину, срывая священнический шарф и обнажая грудь. Его взгляд меркнет, и он умирает, произнеся слова хвалы Богу. После его смерти ходят слухи о наличии на груди алой буквы, идентичной женской, а также о том, что пастор испустил дух на руках Эстер, чтобы показать двусмысленность собственной праведности.
Чиллингуорт, утративший смысл жизни после смерти Димсдейла, быстро стареет и вскоре умирает, оставив всё состояние Перл. После его смерти Эстер и дочь исчезают, а история их жизни становится легендой. Спустя годы Эстер возвращается и вновь надевает знак позора, живя в одиночестве в старом доме на окраине Бостона. Перл, вероятно, счастливо вышла замуж, поддерживает связь с матерью и желает её присутствия. Эстер предпочитает оставаться там, где был совершен её грех, считая, что именно там должно наступить её искупление. После смерти её похоронили рядом с Димсдейлом, однако между могилами оставили промежуток, как символ невозможности полного слияния их судеб даже после смерти.
