ในรัชสมัยของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว หลวงปู่เอี่ยม หรือที่รู้จักกันในนามพระพวณะโกสรณ์เถระ เจ้าอาวาสวัดนาง มีชื่อเสียงมาก เจ้าอาวาสเล่าให้เราฟังว่า “วัดนางอาจจะไม่โด่งดังหรือสวยงามนัก แต่พระเครื่องของหลวงปู่เอี่ยมจากวัดนางเป็นที่ต้องการอย่างมากในตลาดพระเครื่อง ราคาไม่เคยตกเลย พระเครื่องที่สภาพไม่ค่อยดีนักก็มีราคาหลักแสน ส่วนพระเครื่องที่ดีเยี่ยมจริงๆ ก็มีราคาหลักล้าน ถามผู้เชี่ยวชาญด้านพระเครื่องคนไหนก็ได้” ตามเรื่องเล่าของผู้อาวุโสในชุมชน คำว่า “บางช้างสวนนอก กรุงเทพฯสวนใน” หมายถึงสองพื้นที่ คือ สวนผลไม้และไร่นาในเขตบางขุนเทียนตั้งแต่สมัยรัตนโกสินทร์ตอนต้น และสวนผลไม้ของบางช้างอัมพวา จังหวัดสมุทรสงคราม

วัดนางเป็นหนึ่งในวัดที่เก่าแก่ที่สุดในบริเวณนี้ วัดต่างๆ ในบริเวณนี้เรียกรวมกันว่า "วัดสามพฤหนอง" ซึ่งรวมถึงวัดนางราชวรวิหาร วัดนางหนองวรวิหาร และวัดราชโอรสารมราชวรวิหาร นอกจากนี้ยังมีวัดศาลาครูนตั้งอยู่ด้วย วัดนางหนองวรวิหารและวัดราชโอรสารมราชวรวิหารได้รับการบูรณะในรัชสมัยของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ทำให้ศิลปะในวัดเหล่านี้ส่วนใหญ่มีต้นกำเนิดจากจีน กระเบื้องจีนประดับประดาจั่วของโบสถ์และวัดต่างๆ พระบรมราชินีนาถของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงบูรณะวัดนาง ทำให้วัดนางมีรูปแบบไทยที่เด่นชัดกว่าวัดนางหนองและวัดราชโอรสารมราชวรวิหาร อย่างไรก็ตาม ยังคงมีองค์ประกอบของจีนอยู่ วัดนางเป็นวัดโบราณที่มีมาอย่างน้อยตั้งแต่ปลายสมัยอยุธยา โดยเฉพาะอย่างยิ่งในรัชสมัยของพระเจ้าไทสะ ภายในวัดมีระฆังเก่าแก่ที่มีจารึกระบุปี พ.ศ. 2260 อย่างไรก็ตาม สิ่งนี้ไม่ได้พิสูจน์ว่าวัดสร้างขึ้นในปีนั้น น่าจะสร้างเสร็จเร็วกว่านี้

ที่มาของชื่อวัด "วัดนาง" นั้นยังไม่เป็นที่แน่ชัด แต่มีสองทฤษฎีที่ยังคงเป็นที่ถกเถียงกันอยู่ ทฤษฎีแรกกล่าวว่าในอดีตวัดแห่งนี้เคยผลิตตุ๊กตาหนังจำนวนมาก อีกทฤษฎีหนึ่งกล่าวว่าหลังจากสร้างวัดเสร็จแล้ว ก็มีการผลิตกลองอย่างเป็นระบบในบริเวณวัด และมีการเก็บรักษาหนังกลองจำนวนมากไว้ที่นี่ ทั้งสองทฤษฎีล้วนน่าสนใจ

ก่อนรัชสมัยของพระบาทสมเด็จพระนครเกล้าเจ้าอยู่หัว สมเด็จพระศรีสุรลัย พระบรมราชินีนาถ (หรือที่รู้จักกันในนาม "พระบาทสมเด็จรีม") ได้ทรงบูรณะวัดทั้งหลังขึ้นใหม่ระหว่างปี 1824 ถึง 1835 เหตุผลที่พระองค์ทรงตัดสินใจบูรณะและสร้างวัดขึ้นใหม่นั้นน่าทึ่งมาก เพราะสถานที่แห่งนี้เคยเป็นที่ประทับของพระบาทสมเด็จเพ็ง พระอัยยิกาของพระบาทสมเด็จพระนครเกล้าเจ้าอยู่หัว ดังนั้นจึงเป็นที่เข้าใจได้ว่าสมาชิกชั้นสูงของราชวงศ์อย่างพระบรมราชินีนาถจะทรงเลือกที่จะบูรณะวัดแห่งนี้ แม้ว่าวัดจะตั้งอยู่ลึกเข้าไปในสวนทางฝั่งธนบุรีของแม่น้ำก็ตาม