แม้ว่าพระวิสุทสุนทร เมื่อกลับมาถึงเมืองไทย ได้รับยศแลตำแหน่งสูงที่สุดแล้วเช่นนั้นก็ดี ต่อมาภายหลัง ท่านได้มาถึงอสัญกรรมลงอย่างน่าสลดใจ ดังจะเห็นจากจดหมายเหตุของมองสิเออร์โบรด ซึ่งเปนมิซชันนารีอยู่ที่เมืองไทยในเวลานั้น (พ.ศ. ๒๒๔๓) จดหมายเหตุฉบับนี้มีปรากฎอยู่ในหนังสือของบาดหลวงอาฟ ลอเน (เล่ม ๒ หน้า ๔๔) มีใจความว่า
"ท่านพระคลังได้ถึงแก่อสัญกรรมเสียเมื่อสองเดือนล่วงมาแล้ว เนื่องด้วยถูกโบยด้วยเชือก แลด้วยความโทมนัสที่ถูกโบยแลถูกลงอาญาเนือง ๆ เมื่อ ๔ ปีมาแล้ว พระเจ้าแผ่นดินกริ้วด้วยเรื่องต่าง ๆ ได้เอาพระแสงตดจมูกท่าน เพราะพระเจ้าแผ่นดินทรงสงสัยว่า เปนขบถ ต้องถูกไต่สวน แลต้องโทษต่าง ๆ บุตร์สาวหัวปีคน ๑ บุตร์ชาย ๓ คน ภรรยาหลวง ภรรยาน้อย ถูกจับแลต้องจองจำ ทรัพย์สมบัติต่าง ๆ ของท่านถูกริบก่อนวันที่ท่านจะถึงอสัญกรรม ๓ วัน แลมีข่าวลือกันต่อ ๆ ไปว่า ท่านมีความเสียใจ ได้เอามีดแทงตัวตาย ฝ่ายทางราชสำนักก็ได้แก้ข้อมลทินสงสัยต่าง ๆ เมื่อได้แสดงว่า มีความเสียใจที่ท่านพระคลังได้ถึงแก่อสัญกรรมลงแล้ว ได้กล่าวโทษหาว่า แพทย์ผู้หนึ่งวางยาท่านพระคลัง แลได้โบยแพทย์จีนผู้นั้นเสีย ส่วนศพท่านพระคลังนั้นได้นำออกไปฝังไว้ที่วัดแห่งหนึ่งในเวลากลางคืนโดยมิได้มีการทำบุญให้ทานอย่างใดตามธรรมเนียม นับว่า เปนการลดเกียรติยศศพของท่านอย่างยิ่ง ท่านราชทูตไทยที่มีชื่อเสียงซึ่งได้ออกไปเจริญทางพระราช
