为什么已经给买家退了部分货款，剩余货款商家收不到？

商家卖的门，可那人又不肯退货，只好退钱，可退了钱剩余货款还是商家收不了，这样的话，我是钱货两亏。