拒绝退款？

客户退货发天天快递，【我们有备注好拒收天天快递的】老是查不到物流信息，客户也一直催我们退款，我们可以直接拒绝退款吗？拒绝之后会有什么影响呢？