ตั้งอยู่เลขที่ 100/2 หมู่ที่ 4 ตำบลนาโพธิ์ อำเภอสวี จังหวัดชุมพร เป็นวัดสังกัดคณะธรรมยุต ภาค 16 ตามทะเบียนเลขที่ 1173  ประวัติเดิม มีกำนันขุนพรหมแก้ว ทองคำ และผู้ใหญ่สอน  จันทร์แก้ว เป็นผู้ถวายที่ดิน พระธรรมรามคุณี สุปรีชาสังฆปาโมกข์ (หนู  อชิโต) วัดโตนด  เจ้าคณะจังหวัดหลังสวน (ธรรมยุต) เป็นผู้รับมอบ  จำนวน  20  ไร่ และไปสอบถามโยมลงพรหม ซึ่งเป็นเจ้าของร้ายขายยา อยู่ที่ตลาดสวี ตำบลนาโพธิ์ อำเภอสวี จังหวัดชุมพร พอได้เค้าว่าเมื่อประมาณ พ.ศ. 2443 มีเจ้าอาวาส 1 องค์ ชื่อ พ่อหลวงพันธ์พุ่มคงเป็นเจ้าอาวาสอยู่กี่ปี ก็เป็นหลวงพ่อแดง  ชิตมาโร เป็นเจ้าอาวาสอยู่ 4-5 ปี ชื่อถ้ำแห่งนี้ เรียกถ้ำขวัญเมือง 
สมัยก่อนนั้นใช้ถ้ำเป็นที่อยู่ของพระเณร เพราะ ที่วัดมีถ้ำอยู่มาก  ตอนหน้าด้านทิศตะวันออก มีถ้ำใหญ่อยู่ 1 ถ้ำ และในถ้ำนี้มีพระประธานที่สร้างขึ้นด้วยปูนทราย  พระประธานมีมีมาพร้อมกับพระเครื่อง ที่งดงาม สูง 1.66 เมตร 1 องค์ ปางห้ามสมุทร เนื้อโลหะล้วน และอีกองค์หนึง เป็นไม้ ปางประทับยืน

วัดถ้ำขวัญเมือง เป็นวัดปฏิบัติกรรมฐาน มาตั้งแต่ พ.ศ. 2510 โดยมีพระครูภาวนาภิรมย์  ซึ่งเป็นศิษย์ของพระอาจารย์ทองเชื้อ  ฐิตสิริ เป็นลูกศิษย์ของหลวงปู่ขาวอนาลโย แห่งวัดถ้ำกลองเพล จังหวัดหนองบัวลำภู โดยใช้การบริกรรมภาวนา  กรรมฐาน 5 เป็นหลัก เป็นผู้บุกเบิกและเป็นอาจารย์สอนกรรมฐาน

พระครูสุธรรมวีราจารย์เป็นศิษย์ของหลวงปู่สรวง  ปริสุทโธ  ได้สืบทอดตามเจตนารมย์ของหลวงพ่อสรวง  ปริสุทโธ 

วัดถ้ำขวัญเมืองเป็นสำนักปฏิบัติธรรมประจำจังหวัดแห่งที่ 1 โดยสำนักงานพระพุทธศาสนาแห่งชาติเป็นผู้รับรอง และสมเด็จพุฒาจารย์ ประธานคณะปฏิบัติหน้าที่สมเด็จพระสังฆราชได้มอบประกาศให้ ณ วัดกษัตรราธิราช จังหวัดพระนครศรีอยุธยา