กระทรวงดำรงตำแหน่งตราบเท่าที่พระมหากษัตริย์ทรงพอพระทัย แต่พระมหากษัตริย์จะทรงใช้สิทธิถอดต่อเมื่อนายกรัฐมนตรีถวายคำแนะนำ และนายกรัฐมนตรีจะถวายคำแนะนำก็เมื่อมีกรณีสำคัญจริง ๆ เพราะการถอดรัฐมนตรีเป็นการแสดงให้ประชาชนเห็นว่า เกิดความอ่อนแอขึ้นแล้วในคณะรัฐบาล ซึ่งจะมีผลกระเทือนไปยังสภาสามัญและราษฎรในเขตต์เลือกตั้งต่าง ๆ เพราะว่ารัฐมนตรีหรือเจ้ากระทรวงที่ถูกถอดนั้นอาจมีผู้สนับสนุนมากในสภาหรือในคณะรัฐมนตรีชุดนั้นเอง ถ้าสมาชิกส่วนมากในสภาสามัญสนับสนุนรัฐมนตรีหรือเจ้ากระทรวงผู้นี้แล้ว คณะรัฐมนตรีชุดนี้ก็จะอยู่ไม่ได้ โดยปกติ เรื่องเช่นนี้จะเกิดขึ้นก็เนื่องจากความเห็นไม่ตรงกันกับคณะรัฐมนตรี เมื่อรัฐมนตรีผู้ใดไม่เห็นด้วย ก็ลาออกไป หรือเมื่อมีการบกพร่องขึ้น และรัฐมนตรีหรือเจ้ากระทรวงผู้ใดเป็นผู้รับผิดชอบโดยตรงหรือรับผิดชอบทางสายงานแล้ว รัฐมนตรีหรือเจ้ากระทรวงผู้นั้นก็ลาออกเอง เช่น เมื่อเดือนธันวาคม พ.ศ. ๒๔๗๘ (ค.ศ. ๑๙๓๕) เซอร์ซามวลฮอร์ (Sir Samuel Hoare) รัฐมนตรีว่าการต่างประเทศผู้ดำเนินนโยบายร่วมกับลาวัล รัฐมนตรีว่าการต่างประเทศฝรั่งเศส ที่จะเอาใจอิตาลี แต่ประชาชนและสภาสามัญไม่เห็นชอบด้วย ทั้ง ๆ ที่นโยบายนั้นคณะรัฐมนตรีเห็นชอบด้วย เพื่อที่จะไม่ให้รัฐบาลต้องลาออก เซอร์ซามวลฮอร์ได้ลาออกเสียเอง
เคยมีตัวอย่างซึ่งนายกรัฐมนตรีอยากให้ลาออก แต่รัฐมนตรีผู้นั้นไม่ยอมออก ซึ่งในที่สุด นายกรัฐมนตรียอมจำนน เมื่อ พ.ศ. ๒๔๒๗ (ค.ศ. ๑๘๘๔) นายแกลดสโตน นายกรัฐมนตรี ต้องการให้ลอร์ดคารลิงฟอร์ด (Lord Carlingford) รัฐมนตรีว่าการมรุธาธร ออก
