จากการบอกเล่าต่อกันมา วัดสังกระต่าย เดิมชื่อว่า "วัดสามกระต่าย" แต่ได้มีการเรียกชื่อผิดเพี้ยนกันมาเรื่อยๆจนกลายเป็นวัดสังกระต่าย มี "ทวดติ จันทนเสวี" ซึ่งเป็นพระมารดาของพระยาหัสกาลเป็นผู้สร้างตั้งแต่สมัยก่อนกรุงศรีอยุธยาประมาณ 400-500 ปีมาแล้ว สมัยนั้นมี พระภิกษุสงฆ์มาจำพรรษาอยู่นาน โดยมีสภาพเป็นวัดบริเวณด้านซ้ายเป็นสระน้ำขนาดใหญ่ ซึ่งต่อมาได้ถมดินกลบไปแล้ว ส่วนบริเวณ ข้างโบสถ์มีกุฏิสร้างเรียงรายอยู่หลายหลัง ต่อมาพระภิกษุสงฆ์เกิดทะเลาะวิวาทกันขึ้นและทะเลาะกันเรื่อยมา ชาวบ้านเชื่อกันว่าสาเหตุน่า จะมาจากเรื่องของเจ้าที่ที่สิงสถิตในบริเวณวัดแรงมาก จึงทำให้พระสงฆ์ไม่สามัคคีกัน ต้องแยกย้ายกันไปคนละที่คนละทาง จนในที่สุด ชาวบ้านก็เริ่มเสื่อมศรัทธาไม่เข้ามาทำบุญ พระสงฆ์ไม่มีจำวัดกลายเป็นวัดร้าง หลังเป็นวัดร้างนานนับ 100 ปี ในละแวกหมู่บ้านได้มี การสร้างวัดขึ้นมาใหม่ชื่อว่า วัดไผ่ล้อม ชาวบ้านจึงหันไปเลื่อมใสศรัทธาและไปทำบุญที่วัดไผ่ล้อมแทน ต่อมาชาวบ้านได้มาย้ายกุฏิที่ วัดสังกระต่ายไปสร้างเป็นกุฏิใหม่ที่วัดไผ่ล้อม เพื่อให้พระภิกษุสงฆ์ได้ใช้จำวัด ทำให้วัดสังกระต่ายเหลือเพียงโบสถ์ร้างที่ถูกปกคลุม ไปด้วยต้นโพธิ์อย่างที่เห็นกันอยู่ในปัจจุบัน เมื่อก่อนวัดสังกระต่าย มีเพียงพระพุทธรูป 3 องค์ที่อยู่ข้างในคือ หลวงพ่อวันดี หลวงพ่อศรี และหลวงพ่อสุขเท่านั้น แต่มีสภาพที่โดนตัดเศียรกองไว้กับพื้น จนต้องมีการบูรณะซ่อมแซมต่อเศียรพระไว้กับองค์พระ ส่วนหลวงพ่อแก่น ได้นำเศียรพระที่ถูกตัดมาจาก อ.วิเศษชัยชาญมาบูรณะสร้างองค์ใหม่และประดิษฐานไว้ แต่ยังมีชาวบ้านบางส่วนยังมีความเลื่อมใส ศรัทธาในตัววัดถึงแม้จะเป็นวัดร้างก็ตาม บ้านไหนมีงานบุญงานมงคลจะมากราบไหว้ที่วัดแห่งนี้ ยิ่งเป็นงานบวชก็จะแห่นาคมาเวียนรอบ โบสถ์ร้างโบราณ แห่งนี้ 3 รอบบ้าง 9 รอบบ้าง ก่อนที่จะแห่นาคไปยังวัดที่จะอุปสมบทอีกที จึงได้รับการดูแลจาก สำนักงานเทศบาล ตำบลศาลาแดงและชาวบ้านเป็นอย่างดี ส่วนพื้นที่ของวัดส่วนใหญ่ชาวบ้านได้เช่าไปเพื่อประโยชน์
     หลังมีเสียงร่ำลือถึง ความสวยงามของโบสถ์แห่งนี้ ก็เริ่มมีผู้คนสนใจมาชมโบสถ์มากขึ้น กรมศิลปากรได้สั่งให้เจ้าหน้าที่เก็บข้อมูล เตรียมขึ้นทะเบียนเป็นโบราณสถานแห่งใหม่อีกด้วยโดยมุ่งเน้นให้คงสภาพเป็นโบราณสถานที่มีศิลปกรรมที่สวยงามตามธรรมชาติเอาไว้

การเดินทางไปวัดสังกระต่าย
     วัดสังกระต่าย ตั้งอยู่ห่างจากตัวเมืองอ่างทองประมาณ 2 กิโลเมตร อยู่ไม่ไกลจากวัดขุนอินทประมูล โดยเดินทางมาจากถนนสายเอเชีย แยกเข้า จ.อ่างทอง ด้านขวามือจะผ่าน โรงเรียนอ่างทองปัทมโรจน์วิทยาคม ตรงไปข้ามสะพานข้ามแม่น้ำเจ้าพระยา (สะพานอ่างทอง) จะเจอสี่แยกไฟแดง ให้ตรงมาผ่านตลาด จากนั้นตรงไปเรื่อยๆ เจอสี่แยกไฟแดงแยกเรือนจำให้เลี้ยวขว ผ่านเรือนจำอ่างทอง ตรงไปด้าน ซ้ายมือเห็นปั๊มน้ำมัน ปทต.ให้ ยูเทิร์นกลับ จะพบป้ายวัดสังกระต่ายอยู่ซ้ายมือ ให้เลี้ยวซ้ายเข้าซอยเทศบาลตำบลศาลาแดง ประมาณ 500 เมตรก็ถึงวัดสังกระต่าย