买家申请退货填写单号却没有寄回怎么办？

买家收到货后申请退款退货，我同意后买家填写单号淘宝就先给买家退款了，可是过几天后物流还是一直没有更新，买家只是填写单号并没有寄回，这个怎么办呢？