ในอดีตเมื่อกว่า ๒๐๐ ปีที่ผ่านมานั้น พื้นที่ตำบลบ้านนา อำเภอบ้านนา จังหวัดนครนายก เป็นป่าดงดิบรกชัฏ เต็มไปด้วยโรคร้ายไข้ป่าที่ชุกชุม และเต็มไปด้วย สัตว์ป่าที่ดุร้ายนานาชนิด รวมทั้ง ช้างป่า ที่เป็นสัตว์ใหญ่และมักจะมารวมตัวกันอยู่อาศัย หากินในย่านนี้เป็นโขลงๆ ทั้งโขลงเล็กและโขลงใหญ่เป็นจำนวนมาก ด้วยเหตุ นี้เองจึงทำให้ทางกรุงศรีอยุธยามักจะส่งกำลังทหาร เข้ามาในป่าแถบนี้อยู่เป็นประจำทุกๆ ปี เพื่อทำการคล้องช้างป่าเอาไปฝึกเป็นช้างศึก ไว้ใช้งานในยามมีสงครามเข้ามารุกรานบ้านเมือง
วัดช้างเริ่มสร้างมาแต่ปีใดไม่ผู้ใดทราบแต่มีคนเก่าแก่เล่าต่อกันมาว่าเดิมที่เดียวบริเวณ วัดที่ตั้งอยู่นี้เคยเป็นที่พักช้างของทางราชการตั้งแต่สมัยกรุงศรีอยุธยาเป็นราชธานี มีปะรำพิธีรับช้างอยู่ที่มุมด้านทิศตะวันออกของวัดเป็นที่ราบลุ่ม บริเวณรอบๆมีป่าไม้เบญจพรรณขึ้นหนาแน่น หาแสงส่องลงมาถึงพื้นมิได้เลย
บริเวณที่ตั้งโรงเรียนอนุบาลบ้านนาในปัจจุบันนี้ เมื่อในสมัยนั้นเป็นเวิ้งบึงใหญ่ยาวหลายเส้น ลึกและน้ำใสเย็นอยู่ชั่วนาตาปี เคยเป็นที่อยู่และสุสานของโขลงช้างป่าซึ่งได้มาลงเล่นกินน้ำในบึงนี้ และรอบๆเป็นป่าดงดิบมีแมกไม้หลายชนิดหนาแน่นขึ้นเต็มไปหมด โดยเหตุนี้เอง ทางราชการกรุงศรีฯจึงเอาที่บริเวณนี้สงวนไว้เป็นของหลวงสร้างโรงช้างขึ้นไว้ ต่อมาหลายปีก็มีชาวบ้านอพยพมาจากกรุงศรีอยุธยา พากันมาพร้อมกับเจ้าขุนมูลนาย ซึ่งทางราชการส่งมาที่วังช้าง และมาตะพุ่น (เลี้ยง) ช้างที่จับได้จึงสร้างทับกระท่อมเป็นบ้านเรือนขึ้นเริ่มหนาแน่นหลายครัวเรื่อยมา กลายเป็นว่ามีผู้คนมาอาศัยอยู่มาก เพราะอุดมสมบูรณ์ไปด้วยน้ำและของป่า ไม่เหมาะสมแก่การจะทำเป็นโรงช้างต่อไป จึงได้เลื่อนโรงช้างไปทางด้านทิศเหนือ ซึ่งต่อมาเรียกว่า บ้านท่ามะเฟือง กล่าวต่อมากลายเป็นที่ของ ครูถิน ในปัจจุบันนี้ ก็แลที่บริเวณนี้เป็นที่หลวงเรียกว่าที่ราชพัสดุ (ที่บริเวณด้านทิศเหนือของวัดไม้รวกซึ่งยังมีโรงฝึกช้างและโรงพักช้างให้เห็นอยู่ในปัจจุบันนี้)
บริเวณที่ตั้งวัดในปัจจุบันนี้ ภายหลังมีราษฎรมาจับจองที่ทางทำนาทำไร่ เจ้าของที่ดินเดิมที่อุทิศให้สร้างเป็นวัดวาอารามครั้งแรกทีเดียวมีนามว่า นางหับกับนางเอิบ เป็นพี่น้องบิดามารดาเดียวกัน การที่พอสร้างวัดขึ้นแล้วมีชื่อว่า วัดช้าง ก็เพระเหตุว่า เป็นแหล่งที่ช้างป่าพาโขลงมากินมาเล่นน้ำ ซึ่งบริเวณนี้เป็นบึงเก่ามีมาแต่โบราณแล้ว และภายหลังแม้จะย้ายโรงฝึกโรงพักช้างไปไว้บ้านท่ามะเฟืองแล้ว เวลาไล่ช้างเข้าเพนียดกรุงศรีอยุธยาก็ต้องมาแวะพักช้างที่บริเวณข้างวัดนี้ต่อๆมาอีกเป็นประจำ
ต่อมาก็ได้มีกลุ่มชาวบ้านเดินทางเข้ามาใช้พื้นที่บริเวณนี้เป็นปางพักช้าง และมีการฝึกช้างไว้เป็นช้างลากซุง เพราะชาวบ้านในแถวนี้ส่วนใหญ่ก็จะอาศัยผืนป่าที่อุดมสมบูรณ์ประกอบอาชีพทำไม้ซุง โดยอาศัยคลองบ้านนา เป็นที่ล่องซุงไปขาย เมื่อมีชาวบ้านเข้ามารวมตัวอยู่อาศัยกันมากขึ้น จึงได้มีการดำเนินการสร้างวัดขึ้นมาไว้เป็นศูนย์กลางของชุมชนในการประกอบพิธีทางศาสนา ตามหลักพุทธศาสนิกชนที่ดี โดยเมื่อเริ่มทำการก่อสร้างวัดมี หลวงพ่อคุ้ม เป็นผู้ริเริ่มร่วมมือกับชาวบ้าน
จากคำบอกเล่าต่อๆ กันมาของผู้เฒ่าผู้แก่ กล่าวกันว่า เมื่อแรกเริ่มสร้างวัดขึ้นมาใหม่ๆ โดยมี หลวงพ่อคุ้ม เป็นเจ้าอาวาส ซึ่งหลวงพ่อคุ้มนั้น เป็นพระสงฆ์ที่มีความเชี่ยวชาญทางด้านไสยเวชวิชาอาคม กล้าแข็ง จึงได้รับความเคารพนับถือจากชาวบ้านในพื้นที่เป็นอย่างมาก ต่อมาก็ได้มีกำลังทหารหมู่หนึ่งได้ทำการต้อนช้างป่ามาหลบพักอาศัยอยู่ที่ใต้ถุนศาลาการเปรียญ แต่เนื่องจากได้เกิดมีฝนตกลงมาอย่างหนัก และไม่มีทีท่าว่าจะหยุด ทำให้ทหารกลุ่มนั้นไม่สามารถหากิ่งไม้แห้งมาทำเป็นฟืนก่อไฟเพื่อหุงต้มอาหารได้ ทหารกลุ่มนั้นจึงได้ใช้วิชาบังตา หลอกหลวงพ่อคุ้ม แล้วแอบใช้มีดถากเสาศาลาการเปรียญเพื่อเอาไม้มาทำฟืนหุงข้าว
แต่หลวงพ่อคุ้มนั้น มีวิชาอาคมที่เหนือกว่า จึงทำให้ทหารกลุ่มนั้นไม่สามารถใช้วิชาบังตากับหลวงพ่อคุ้มได้ การกระทำของทหารที่บังอาจมาลองดีกลุ่มนั้น หลวงพ่อท่านล่วงรู้ด้วยญาณวิเศษ แต่ท่านก็ไม่ได้ว่ากล่าวหรือห้ามปรามการกระทำนั้นแต่อย่างใด คงปล่อยให้เหล่าทหารได้กินข้าวกินปลากันจนเป็นที่เรียบร้อย และนอนหลับไปในที่สุด เมื่อทหารกลุ่มนั้นนอนหลับกันหมด แล้ว หลวงพ่อคุ้มจึงได้ใช้วิชากำบัง ทำการสั่งสอนแก้เผ็ดทหารเหล่านั้น โดยการนำเอากะลามะพร้าว ไปวางครอบไว้บนหัวของช้างที่ทหารเหล่านั้นต้อนมาผูกไว้ใต้ศาลาจนครบหมดทุกตัวกระทั่งรุ่งเช้า เมื่อทหารกลุ่มนั้นตื่นนอนขึ้นมา ก็ไม่พบช้างของพวกตนที่ผูกไว้ที่โคนเสาแล้ว แม้จะออกตามหาไปจนทั่วก็ไม่มีวี่แววแต่อย่างใด ต่างพากันสำนึกผิดจึงได้พากันเข้าไปกราบขอขมาอภัยที่ได้ล่วงเกินหลวงพ่อไป ซึ่งหลวงพ่อคุ้มท่านก็มีเมตตาให้อภัยในโทษนั้น และให้ทหารพวกนั้นไปทำการตัดต้นไม้มาทำเสาศาลาการเปรียญให้เรียบร้อยดังเดิม จากนั้นหลวงพ่อท่านก็ถอนอาคม และคืนช้างให้กับทหารกลุ่มนั้นไป
หลวงพ่อคุ้ม ได้ร่วมกับชาวบ้านก่อสร้างวัดจนสำเร็จลุล่วง ในปี พุทธศักราช ๒๒๗๓ ชาวบ้านก็ได้ตั้งชื่อวัดตามท้องถิ่นที่อยู่นั้นว่า วัดช้าง เพราะว่าพื้นที่แถบนี้เป็นถิ่นที่อยู่อาศัยของช้างป่าเป็นจำนวนมาก เมื่อมีวัดแล้วความเจริญเติบโตของชุมชนก็ขยายตัวขึ้นเรื่อยๆ และในที่สุด เมื่อถึงปีพุทธศักราช ๒๓๒๓ วัดช้าง ก็ได้รับพระราชทานวิสุงคามสีมา และเจริญรุ่งเรืองขึ้นมาตามลำดับพร้อมกับชุมชนโดยรอบวัด จนปัจจุบันสภาพป่าดงดิบได้หายไปหมดแล้วกลายเป็นตัวอำเภอบ้านนา จังหวัดนครนายกในปัจจุบันนี้นั่นเอง
ทำเนียบเจ้าอาวาส
สมภารหรือเจ้าอธิการวัดช้างองค์แรกนั้น จะมีนามว่าอย่างไรไม่มีใครทราบแน่นนอน แต่เท่าที่สืบทราบและเล่าสู่กันฟังต่อๆมา ตั้งแต่ อดีต(พ.ศ.2273) - ปัจจุบัน มีดังนี้
หลวงพ่อคุ้ม ไม่ทราบปี พ.ศ.
หลวงพ่ออุปัชฌาย์เนียม ไม่ทราบปี พ.ศ. มรณภาพ
หลวงพ่อเสือ ไม่ทราบปี พ.ศ. มรณภาพ
พระอาจารย์ยอด ไม่ทราบปี พ.ศ. ลาสิกขา
พระอาจารย์วัง ไม่ทราบปี พ.ศ. ลาสิกขา
พระอาจารย์แก่น พ.ศ. 2458-2480 ลาสิกขา
พระครูอินทรสารประสุต พ.ศ. 2480-2517 มรณภาพ
พระครูภัทรกิจโกศล (หลวงปู่ภู) พ.ศ.2517-2533 มรณภาพ
พระครูธวัชภัทราภรณ์ (อาจารย์ต๊ะ) พ.ศ. 2533-2545 มรณภาพ
พระครูโสภณนาคกิจ (พระอาจารย์เดช เจ้าคณะอำเภอบ้านนา เจ้าอาวาสวัดช้าง) พ.ศ.2545 - ปัจจุบัน
