遇到职业诈骗，申请假冒品牌，不退货只退款，怎么处理？

一个买家，买了4条裤子，收到货说假冒品牌，不退货仅退款， 怎么处理？裤子不是假冒的，但是要授权也很难，如果就这样给他退钱了，会有问题吗，这种情况该怎么处理？