父の相続で負債があることが発覚

父の相続で私は長男です。
相続発生時に、母は既に死亡していたため、相続人になるのは長男の私と弟になるかと思います。

父は、相続財産として土地家屋を遺していたが、最近になって税金や健康保険などが約300万円、銀行及び消費者金融で約60万円、合計で約360万円の負債があることが発覚しました。
税金の差押えが、相続財産の土地の方に入っているが、それ以前に、かかる不動産は、私が組んでいる住宅ローンの共同担保となっていました。
金融機関と協議をする中で、銀行に対してだけ1万円支払ってしまいました。
今から相続放棄をすることは可能でしょうか。