ตั้งอยู่บริเวณเชิงเขาใกล้กับพระพุทธปางลีลา บริเวณด้านหน้า มีลักษณะเป็นถ้ำหรือศาสนาสถานที่เกี่ยวเนื่องกับพุทธศานา เมื่อเดินขึ้นไปจะพบกับถ้ำที่มีลักษณะไม่ใหญ่ ภายในถ้ำมีพระพุทธรูปจำหลักเป็นพระพุทธประทับนั่งห้อยพระบาทแกะสลักจากหินภายในถ้ำ ปางแสดงธรรมเทศนาหรือวิตรรกะมุทรา ตามแบบพุทธศิลป์สมัยทวารวดี ลักษณะพระพักตร์แบน พระขนงเป็นเส้นนูนโค้งต่อกันเป็นรูปปีกกาต่อกัน พระเนตรโปน พระนาสิกแบน พระโอษฐ์หนา มีความสูง 3.49 เมตร ใต้พระบาทมีจาริก 12 ตัว เป็นอักษรเก่าแก่ ลักษณะคล้ายกับที่ใช้ในอินเดียทางใต้ในช่วง พ.ศ. 1000 – 1100 นอกจากนั้นหากสังเกตุดีๆ ภายในถ้ำยังมีพระพุทธรูปหินทรายศิลปะสมัยอยุธยาอีกหลายองค์ ด้านนอกเป็นที่อาศัยของลิงจำนวนมาก

ถ้ำฝาโถตั้งอยู่ด้านในอุทยานหินเขางู อยู่ห่างจากถ้ำฤาษีไปราว 250 เมตร เดินขึ้นบันไดขึ้นเขาราว 230 ขั้น ด้านบนมีถ้ำโดยปากถ้ำมีภาพพระพุทธไสยาสน์ขนาดใหญ่มีประภามณฑลหลังพระเศียร หันเศียรไปทางปากน้ำ เหนือขึ้นไปเป็นภาพเทพชุมนุมและภาพปูนปั้นรูปต้นไม้ ใกล้เคัยงกับภาพสลักในถ้ำอชันตาประเทศอินเดีย ด้านทิศเหนือสลักพระสาวกสององค์ องค์ประกอบคล้ายที่ถ้ำจามคือเป็นภาพพระพุทธรูปตอนปรินิพพาน

ถ้ำจีนและถ้ำจามเป็นสองถ้ำที่อยู่สูงขึ้นไป 60 เมตร ตั้งอยู่ลึกเข้าไปกว่าถ้ำฝาโทและรอยพระพุทธบาท ต้องเดินเท้าขึ้นบันไดไปเช่นเดียวกันและแยกออกเป็นสองทาง โดยที่ถ้ำจีนนั้นมีพระพุทธรูปปูนปั้นประดับบนผนังสององค์ องค์ที่อยู่ด้านในเป็นพระพุทธรูปทางปฐมเทศนา องค์ด้านนอกเหลือเพียงครึ่งองค์ สันนิษฐานว่าสร้างขึ้นในสมัยทวารวดีเช่นเดียวกัน ต่อมาได้ถูกดัดแปลงโดยเอาปูนพอกไว้เป็นศิลปะแบบอยุธยา

ส่วนถ้ำจามนั้น ตั้งอยู่ทางตะวันตกของถ้ำจีนสูงขึ้นไป มีภาพสลักบนผนังทุกด้าน โดยผนังด้านตะวันตกเป็นพระพุทธรูปปางไสยาสน์ นับว่าเป็นพระพุทธรูปปางไสยาสน์ที่เก่าแก่ที่สุดในประเทศไทย เหนือพระพุทธเป็นลวดลายปูนปั้นรูปต้นไม้

วิหารประดิษฐานรอยพระพุทธบาทตั้งอยู่บนเขาสูงประมาณ 128 เมตร บริเวณทางขึ้นจะพบกับปูนปั้นรูปงูขนาดใหญ่ ลักษณะเป็นซากอาคารรูปสี่เหลี่ยมผืนผ้าก่ออิฐถือปูน ปัจจุบันมีการสร้างศาลาขึ้นคร่อมทับ ภายในประดิษฐานพระพุทธบาทจำลอง 1 องค์

มีพระพุทธรูปทำด้วยศิลาแลงประทับนั่งประดิษฐานอยู่ในวิหาร แสดงปางประทานอภัยและปางมารวิชัยจำนวน 5 องค์ สันนิษฐานว่าสร้างขึ้นในสมัยอยุธยา ส่วนรอยพระพุทธบาทไม่ปรากฏหลักฐานสร้างขึ้นเมื่อใด

นักทักท่องเที่ยวสามารถขับรถชมทัศนียภาพรอบๆอุทยานหินเขางูได้ โดยด้านหน้าทางเข้าจะพบกับลานพระพุทธปางลีลา ร้างจากการยิงแสงเลเซอร์ลงหน้าผาหิน เมื่อขับเข้ามาด้านในจะผ่านหมู่ถ้ำต่างๆ รอบๆข้างทางจะเป็นภูเขาหินปูน นักท่องเที่ยวสามารถขับรถเพียงครึ่งทางเพื่อออกทางออกทางถนนสาย 3207 ได้ โดยไม่ต้องวนครบรอบ