どうすればいいのか....

当該金員をお母様からの貸付か贈与かいずれと解するかはともかく、後者と解した場合であっても、貴殿の生活に資する結果となっていたのであれば、貴殿の法定相続分を控除した残額については、特別受益として精算が必要になる可能性があります。
しかし、いずれと解した場合であっても、精算の必要性を基礎づける事実についてはお兄様において立証する必要があります。
貴殿の資力が乏しい場合、事実上お兄様も強制的な回収は困難ですので、遺産分割協議の際に調整するということで良いのではないでしょうか。