พระยาบรรหารทัณฑกิจมีภรรยาเดิมชื่อ จีบ เปนบุตรหลวงจ่าเมือง (น้อย ดิษยบุตร์) กรมการเมืองกรุงเก่า แต่ได้ถึงแก่กรรมไปแล้ว มีบุตรแลธิดาด้วยกัน ๕ คน คือ
๑หม่อมเยื้อน ทองใหญ่ ณอยุธยา
๒รองอำมาตย์ตรี ขุนสง่าบุรี (สง่า โรจนวิภาต) ปลัดอำเภอสามเสน
๓รองอำมาตย์เอก ขุนสนองนิติกรรม (สงวน โรจนวิภาต) รับราชการในกรมนคราทร
๔นายร้อยตรี พายัพ โรจนวิภาต รับราชการที่กรมทหารบกปืนใหญ่ที่ ๙
๕นายพโยม โรจนวิภาต
ต่อมา พระยาบรรหารทัณฑกิจมีภรรยาอิกคน ๑ ชื่อ สุวรรณ เปนบุตรีพระยาโชฎึกราชเศรษฐี (ฟัก โชติกสวัสดิ์) มีบุตรชายอิกคน ๑ ยังไม่มีชื่อ และมีบุตรที่เกิดด้วยอนุภรรยาอิกคน ๑ ยังไม่มีชื่อ รวมบุตรแลธิดาพระยาบรรหารทัณฑกิจที่มีตัวอยู่เวลานี้ ๗ คน
เมื่อวันที่ ๔ กุมภาพันธ์ พ.ศ. ๒๔๖๗ พระยาบรรหารทัณฑกิจได้ออกไปตรวจราชการเรือนจำทางมณฑลปักษ์ใต้ มณฑลภูเก็ต และทางมณฑลภาคตวันตก ครั้นเดิรทางกลับมา ได้แวะตรวจเรือนจำจังหวัดนครปฐม ในขณะที่ทำการตรวจอยู่ในเรือนจำ พระยาบรรทหารทัณฑกิจเกิดมีอาการป่วยเปนลมขึ้นโดยปัจจุบัน จึงเรียกกลับยังที่พักใน
