买家故意退货隐瞒单号，卖家不知情签收后是否可以拒绝退货？

请问，买家申请退货，卖家在同意退货后系统提供了退货地址，买家按退货地址将已经造成破坏的货品退回卖家，但不上传退货单号，在没有单号的情况下（卖家曾多次催促对方提供单号无果），由于进出货物较多，卖家不知情