淘宝先垫付了货款退给了买家，但买家输入单号后，迟迟不退货怎么办？

买家申请退款，填写了物流单号后，淘宝先行把货款垫付给买家了，但两天了，没有物流消息，顾客已经收到退款了，要是不退货或者少退怎么办？这种情况该怎么处理？