买家恶意拍下商品，我填了单号，但是不想发货，怎么办？

有个买家，二心等级，拍下之后我第一次叫他申请退款他不退，第二次再过来问，我说没货，第三次我还是不给他发货，单关键是我填了物流单号，然后他一直不肯退款，就死等必须我发货。