卡斯特桥市长是两个男人，卖妻的前任市长亨查德与来自苏格兰的新人法夫瑞·唐纳德。亨查德卖掉妻子苏珊，苏珊与水手牛森结婚，亨查德与苏珊的女儿伊丽莎白—简因病去世，苏珊与牛森诞下一个女儿以同样的名字“伊丽莎白—简”纪念曾经的女儿。同时亨查德与露塞塔·谭普塞（那时她还不随有钱的姑妈姓，但为了继承银行家遗孀的财产改了姓氏，并来到卡斯特桥寻找旧情人迈克尔·亨查德）多年后牛森去世，苏珊带着女儿来到卡斯特桥投奔亨查德，故事从这里展开。
亨查德与苏珊隐瞒往事重新结婚，伊丽莎白—简对带着新鲜知识的法夫瑞怀有爱慕之情。由于法夫瑞的新技术与商业手段，很快赢得他在卡斯特桥的名声，撼动到亨查德的地位。亨查德不满，因此禁止法夫瑞与伊丽莎白—简的婚事。后苏珊病逝，伊丽莎白—简了解到“真相”真正成为了亨查德的女儿——实际上通过苏珊的简条，亨查德得知到真相是自己的女儿早已病亡，没有血脉留在人间。这对他来说是第一重灾难，也是他寻找旧情人露塞塔的心理动因。
露塞塔对苏珊怀有奇妙的感情，在她坟头结识了伊丽莎白—简，而她瞒着这位可怜的姑娘把她收入自己家“高台大厦”中，并在机缘巧合下与法夫瑞一见钟情。为了名誉，她瞒着亨查德与法夫瑞结婚，而这一事件很快公开——痛苦的人除了一心想与露塞塔结婚并且企图通过婚约延缓债务的亨查德，还有默默爱着法夫瑞的伊丽莎白—简。伊丽莎白—简可以说是哈代作品中女性形象的代表之一，她勤劳，善良，单纯而稳重。但她并不愚蠢，在识破露塞塔讲述往事“我的一个朋友”就是她本人时也不忍心揭穿，直到无力承受失去友情与爱情的痛苦，并眼睁睁看着父亲陷入债务危机时，才告诉露塞塔自己的猜测。她的话简短但有力，这是作品中唯一一个拥有战胜真相的力量的人。
小说的模式可以大概用“隐瞒—真相”来概括，而新任市长法夫瑞在亨查德怀有报复心态的读信过程中依然没有得知真相——置换为情感敏锐的伊丽莎白—简的话，她一定能猜到故事中隐姓埋名的主人公究竟是谁。哈代为何如此安排？难道法夫瑞就比伊丽莎白—简更愚蠢吗？想来并非如此。法夫瑞对感情向来都是站在主导方位的`，无论是在和伊丽莎白—简还是露塞塔的相处中，他总是能够讨得女性的欢心。而这种能力并非是由于他多么优秀，通过亨查德的评价可以得知，“露塞塔对法夫瑞来说只是可有可无的一个女人”（忘了记页码，查不到原话了但大概是这个意思）法夫瑞在婚恋上一向成功，他有足够自信来排除自己是故事中女主人公结婚对象的可能性，就像看戏一般观赏着亨查德的表演。此刻的谈话，亨查德有多么愤怒、阴沉，法夫瑞就有多么困倦，百无聊赖。真相对他来说并无所谓。
露塞塔之死是法夫瑞间接导致的，而法夫瑞不相信亨查德报信，表明他对仇人的恨远大于对妻子的爱，也是可悲可叹的一点。
第四十一节水手牛森归来也是哈代安排得非常传统小说，非常中规中矩而令人喟叹的一笔。亨查德卖妻后的前半段人生处于向上阶段，他勤劳踏实，从捆草工人干到了市长职位，而后半生始终在维护自己剩下的东西，他的手段是隐瞒，这种方法却无法持久，并导致他身败名裂，失去了所有人包括至亲的怜悯与爱。
隐瞒与真相分别是行为和对象，哈代作品中总是出现这样巧妙的结构。由于现实名誉或财产的考虑，隐瞒了过去的部分真相，因此导致更大的误会与纠葛，缝缝补补最终撕裂的破洞，将故事中本可以不至于此的人物拉入地狱。哈代认为人对真相有天然的恐惧，或者换个说法，人没有能力与勇气去面对真相——这也是阴差阳错的悲剧感的源流之一。