ท่านบิดาของพระยากลาโหมราชเสนาคือพันโท พระพิทักษ์ยุทธภัณฑ์ เป็นบุตรพระยามหาเทพ (ทองปาน) ซึ่งเป็นบิดาท่านน้อย ภริยานายศัลวิไชย (ทองคำ) ซึ่งเป็นมหาดเล็กรับราชการมาตั้งแต่ครั้งรัชกาลที่ ๓ ด้วยอีกผู้หนึ่ง นายศัยวิไชย (ทองคำ) และท่านน้อยมีธิดาชื่อสังวาล ซึ่งต่อมาได้ถวายตัวทำราชการฝ่ายใน ได้เป็นเจ้าจอมมารดาในรัชกาลที่ ๔
พระพิทักษ์ยุทธภัณฑ์กับท่านน้อยจึงเป็นพี่น้องร่วมบิดาเดียวกัน ด้วยเหตุนี้เจ้าจอมมารดาสังวาล ธิดาของท่านน้อย จึงนับเนื่องเป็นพี่ของพระยากลาโหมราชเสนา และมีความกรุณารักใคร่น้องเป็นอันดี พระยากลาโหมราชเสนาได้ไปเยี่ยมเคารพเจ้าจอมมารดาสังวาลเสมอ และในยามว่างท่านก็ได้กรุณามาเยี่ยมถึงบ้าน เจ้าจอมมารดาสังวาลเป็นเจ้าจอมมารดาของเจ้านายซึ่งเป็นพระราชโอรสและพระราชธิดาในพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว คือ
- พระเจ้าบรมวงศ์เธอ กรมหลวงประจักษ์ศิลปาคม
- พระเจ้าบรมวงศ์เธอ กรมหลวงสรรพสาตรศุภกิจ
- พระองค์เจ้าชายเจริญรุ่งราษี (สิ้นพระชนม์แต่ยังทรงพระเยาว์)
- พระเจ้าบรมวงศ์เธอ พระองค์เจ้าหญิงกาญจนากร
ด้วยเหตุนี้เจ้านายทั้ง ๓ พระองค์จึงทรงรู้จักคุ้นเคยกับพระยากลาโหมราชเสนา และทรงนับว่าเป็นพระญาติ
