相続させないようなことを言われています、今から何かすることはないでしょうか？

法定相続人である子には相続分には，最低保障があり相続分を完全に奪ってしまうことはできません。
この相続分の最低保障を遺留分といい，遺留分を請求することを遺留分減殺請求と言います。法定相続分より半分になってしまいますが，法律上，相談者さんにもその分の権利は保障されています。
ただ，この権利は，遺留分が侵害された際に初めて主張できるもので，お父様がご存命の現時点で権利の主張をすることはできません。
そこで，相談者さんが，お父様やご家族のみなさまに「自分には遺留分があって，完全に相続分がないようにされた場合には遺留分減殺請求をする。なので，最初から自分への相続分も確保しておいてほしい。」と伝え，後々，争いにならないように最初から相談者さんにも相続させておいた方がよいと思ってもらうのがいいのではないでしょうか。

遺留分については、宮崎先生が指摘されている通りです。
他に考えられる問題点としては、お父様の不貞行為によりお母様に対する慰謝料債務が発生しており、理論上は法定相続分に応じて分割相続されることになります。本件では１/６になるかと思いますが、相続時にお母様から遺留分減殺請求権（に基づく価格弁償請求権）と慰謝料請求権の相殺を主張される可能性があります。
愛人の方に一部求償可能ですが、愛人からの反論（不倫に関する愛人の認識等）や資力が問題となる可能性があります。
そのため、慰謝料の問題は早期に解決しておいた方が良いかと思います。