卖家缺货 与买家沟通后一直不申请退款怎么办？

因为缺货没有及时下架，通知买家申请退款，买家却一直不回复消息，到了3天后买家以未按时发货为理由申请了退款并且投诉了卖家，并且要赔偿5元。问题是，卖家已经与买家沟通，是买家没及时申请退款，为什么还会被赔