เห็นว่าการจับปลาเป็นมิจฉาชีพทำปาณาปาติบาทจึงไม่เก็บ ครั้นมาถึงรัชกาลที่ ๔ ต้องลดอากรค่านาลงดังได้กล่าวมาแล้วข้างต้น จึงต้องขวนขวายหาทางเก็บภาษีอากรใหม่ ในที่สุดก็มาลงเอยที่จะเก็บอากรค่าน้ำ กะว่าจะเก็บปีละกว่า ๔๐๐ ชั่ง รายได้จริงตามที่สังฆราชปัลเลอกัวซ์สำรวจ ปรากฏว่าในรัชกาลที่ ๔ ได้อากรค่าน้ำถึง ๗๐,๐๐๐ บาท ครั้นจะประกาศเก็บเอาดื้อๆ ก็เกรงจะไม่แนบเนียน ผู้คนจะนินทาว่าเก็บแต่ภาษีไม่เห็นทำอะไรให้เป็นประโยชน์แก่ประชาชนสักนิด รัชกาลที่ ๔ จึงออกประกาศอ้างว่า การที่รัชกาลที่ ๓ เลิกเก็บอากรค่าน้ำนั้นถึงเลิกแล้ว "ก็ไม่เป็นคุณอันใดแก่สัตว์เดรัจฉาน สมดังพระราชประสงค์ และไม่ได้มาเป็นคุณเกื้อกูลหนุนแก่พระพุทธศาสนาด้วยอาการอย่างใดอย่างหนึ่ง ไม่ได้เป็นคุณแก่ราชการแผ่นดินเลย" (ประชุมประกาศ ร.๔ ภาค ๓ ประกาศ พ.ศ. ๒๓๙๙) และยังว่าต่อไปอีกว่า "และพวกที่หาปลาได้รับผลประโยชน์ยกภาษีอากรที่ตัวควรจะต้องเสียปีละเจ็ดร้อยชั่งเศษทุกปีนั้น... ก็ไม่ได้มีกตัญญูรู้พระเดชพระคุณมาทำราชการฉลองพระเดชพระคุณในหลวงให้ปรากฏเห็นประจักษ์เฉพาะแต่เหตุนั้นสักอย่างหนึ่งเลย" ฉะนั้นจึง "ปรึกษาพร้อมกันเห็นว่าอากรค่าน้ำซึ่งพระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวให้เลิกเสีย ไม่เป็นคุณประโยชน์อันใดแก่สัตว์เดรัจฉาน ไม่เป็นคุณความเจริญแก่พระพุทธศาสนา..." ถ้าแม้ไม่เก็บ "ซ้ำ" จะตกที่นั่งเป็นคนมีบาปที่เป็นใจให้พวกมิจฉาทิฐิทำปาณาปาติบาต จึงต้องเก็บค่าน้ำใหม่ในแผ่นดินนี้ และเหตุนี้ จึงได้ตั้งพระศรีชัยบานเป็นเจ้าภาษี!
คราวนี้ผู้ที่ทำการผูกขาดการเก็บภาษีซึ่งเรียกว่า "เจ้าภาษี" ก็มีสิทธิแต่งตั้งคนของตนเป็น "นายอากร" คอยเก็บอากรแก่ชาวประมงในเขตต่างๆ แบ่งเป็นหลายๆ เขต พวกนายอากรก็คอยเร่งรัดเก็บ
