诗史堂之后，便是第四重建筑——柴门。柴门的体量，是几重主体建筑中最小的，占地仅20多平方米，高也不过三、四米。门前，清溪碧水流淌而过，一座别具情趣的小小石拱桥横跨溪上，颇有一种“小桥流水人家”的意味。清溪两旁，笼笼慈竹拔地而起，悠悠凉意油然而生。再循着溪流向西张望，跨水而建的水槛在竹影树荫中似隐似现。如此景致，令整座祠宇更增幽趣，更添情韵。
“柴门”，原本是杜甫营建草堂时所造的院门，因其简朴低矮，故诗人给它取了这样一个名副其实的名字。此外，如同称其居处为“草堂”一样，还有表明其布衣幽栖生活的意味。在杜甫的草堂诗作中，我们常常可以读到与“柴门”有关的句子。如“野老篱边江岸回，柴门不正逐江开。”（《野老》）这是说，当年诗人修造的柴门，不是正面浣花溪，而是顺着江流的方向所开。再如“花径不曾缘客扫，蓬门（即柴门）今始为君开。”（《客至》）可知诗人平时闭门幽居，有了知己或至亲相访，方打开柴门迎客。还有“白沙翠竹江村暮，相送柴门月色新。”（《南邻》则写出了与邻居交往互访，宾主相得，气氛融洽，送别于柴门而依依不舍的情意。这里，柴门又是诗人送客的相别之处。从这些诗句中，我们不难看到，柴门虽简朴，却给诗人平添了许多生活乐趣。缘于此，清代的重建才有意营造出这座别致、简朴而又风景绝佳、充满清幽之气的建筑并作了如此的命名。
今日草堂柴门，较之其它建筑，的确可谓简朴，但其比起当年诗人所建，却又堂皇得多。门上匾额为著名画家潘天寿先生所书，门前楹柱上悬有明人何宇度用杜句所撰对联：“万丈光芒，信有文章惊海内；千年艳慕，犹劳车马驻江干。”此联由杜诗“岂有文章惊海内，漫劳车马驻江干”（《宾至》）点化而来。上联改“岂”为“信”，下联以“犹”易“漫”，将诗人的自谦之语变成了后人的赞誉之辞，十分精巧而绝妙。确实，正因为杜甫给我们留下了成就极高、震动海内外的不朽篇章，千百年来，才会赢得无数后人的'尊崇与倾慕，到此凭吊其故居草堂胜迹。柴门，不会再紧闭不开，而是敞开它的胸怀，迎纳着千千万万的瞻仰者。
出诗史堂，我们看见一条小溪穿插在建筑群之间，上面有一座小石桥勾连交通。小桥左侧竹丛中，有“水槛”横跨溪上；过小桥，“柴门”迎面而开。“水槛”与“柴门”都是当年杜甫的草堂曾经有过的建筑，杜诗中有“新添水槛供垂钓”、“柴门不正逐江开”的描述。所谓“水槛”，就是搭在水亭上的木栏，“柴门”也不过是茅屋的篱笆门，可以说都是很简朴的，远不是我们今天看到的样子。现在的“水槛”与“柴门”，是后人重修草堂、扩大庭园时所造的象征性建筑，但我们仍可以睹物思人，想象出当年诗人在这里迎送客人或凭栏垂钓的情景。
上联“万丈光芒”，出自唐代著名文学家韩愈的诗句“李杜文章在，光焰万丈长。”而“信有文章惊海内”与下联“犹劳车马驻江干”，则出自杜甫《宾至》诗中“岂有文章惊海内，漫劳车马驻江干”两句。杜甫诗的意思是：我哪有什么名篇佳作震动天下呢？既然如此也就空劳宾客乘着车马到江边来相访了！这本是诗人的自谦之语，但何宇度将两句诗各改动了一个字：把“岂”改为“信”（信，确实、果然之意），“漫”（漫，徒自、枉自之意）改为“犹”（犹，还、仍之意），整个对联的意思就变成了赞誉之辞：您先生的大作确实称得上光芒万丈，可以震动海内，因此千年之后人们仍然怀着景仰倾慕的心情，乘车骑马来到浣花溪畔，瞻仰您的草堂故址。不是吗，我们今天也加入了这个行列，不远千里万里来游草堂。可见对联作者还是很有“预见”的呢！