男人退缩又不肯放弃怎么办