代理人に不信感をもっている

祖母が亡くなった時は、相続について手を付けておりませんでした。
今年の初め、司法書士に頼んで処理をすることにしました。
長女は認知症の為、三男が後見人になっています。
特別代理人を、裁判所から選任をされました。
代理人より、新たな司法書士を紹介されましたが、代理人が財産調査もしていますが、土地（祖母名義）、建物（私の母親名義）であるにも拘らず、土地建物合算で金額を出してきました。
代理人に対しかなり不信感をもっており、代理人を辞めさすことはできるのでしょうか。　
虚偽の訴えはできるのでしょうか？