我覺得樓主的想法是對的，畢竟結婚不是兒戲，要考慮周全，女方的哥哥講白點就是人渣，自己有家庭還是這種死個性，樓主如果搬去同住的話肯定會多許多不必要的麻煩..
建議樓主要結婚前要仔細考慮，因為照女方的態度來看，是不可能放棄他這個哥哥，那要結婚的話真的要仔細想清楚，到時就算不住一起也會有很多麻煩，"貧賤夫妻百事哀"這句話是很有道理的，到時夫妻為了要不要資助哥哥一定會起口角，與其走到這一步，不如先離開女友，雖然自私但我覺得這是避免問題最好的方法。