要求买家到付退回，买家坚持现付后索赔运费，可以拒绝吗？

因商品有瑕疵，买家开始申请仅退款，拒绝后买家申请介入，我们没注意售后，淘宝小二介入处理我方承担运费，退货退款了，我跟买家说到付退回，结果买家坚持现付退回，因退回是厂家仓库，质量问题产生运费是厂家直接承