วงศ เมื่อยังเป็นหลวงนายสิทธิ์ แต่งงานสมรสกับท่านผู้หญิงกลิ่น ธิดาหลวงแก้วอายัติ (จาด) บุตรของเจ้าพระยามหาเสนาบุนนาค แต่เจ้าคุณนวลมิได้เป็นมารดา แต่จะแต่งงานเมื่อปีใดนั้น ทราบได้แต่ว่า ก่อน พ.ศ. ๒๓๗๑ เพราะเจ้าพระยาสุรวงศวัยวัฒน์ บุตรของท่าน เกิดเมื่อปีชวด พ.ศ. ๒๓๗๑ แล้วมีธิดาอีกคนหนึ่งชื่อ กลาง ได้แต่งงานสมรสกับพระยาสีหราชฤทธิไกร (แย้ม บุณยรัตพันธุ์) บุตรเจ้าพระยาภูธราภัย
พิเคราะห์ดูตามความที่ปรากฏในหนังสือจดหมายเหตุเก่า ๆ ดูเหมือนความสามารถฉลาดหลักแหลมของสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศจะเริ่มปรากฏแก่คนทั้งหลายตั้งแต่เมื่อเป็นหลวงสิทธิ์ นายเวร เพราะเหตุการณ์ต่าง ๆ ให้โอกาส ประกอบกับฐานะของท่านที่เป็นบุตรเจ้าพระยาพระคลัง เป็นต้นว่า พอถึงรัชชกาลที่ ๓ แล้วไม่ช้า อังกฤษก็เริ่มมามีอำนาจขึ้นใกล้ชิดกับประเทศสยาม ด้วยตีได้หัวเมืองของพะม่าที่ต่อแดนไทยไว้เป็นเมืองขึ้น และมาตั้งเมืองเกาะหมากเป็นที่มั่นต่อแดนไทยทางหัวเมืองมะลายู ต้องทำหนังสือสัญญาทางไมตรีกับบริษัทอังกฤษซึ่งปกครองอินเดีย เริ่มมีการเมืองและการค้าขายเกี่ยวข้องขึ้นกับอังกฤษต่อนั้นมา (เมื่อเสร็จการปราบกบฏเวียงจันทน์แล้ว) ไทยเกิดรบกับญวน ต้องเตรียมรักษาปากน้ำเจ้าพระยาและเมืองจันทบุรีมิให้ญวนจู่มาทำร้ายได้โดยทางทะเล ในการปรึกษาทำหนังสือสัญญากับทูตอังกฤษก็ดี การสร้างป้อมและเตรียมกำลังรักษาเมืองสมุทรปราการก็ดี การสร้างเมืองจันทบุรีใหม่ที่เนินวงบางกระจะก็ดี อยู่ในกระทรวงของเจ้าพระยาพระคลัง บิดาของท่าน สมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศเป็นบุตรผู้ใหญ่ ก็ได้รับใช้
