因店缺货没急时下架，买家付款又申请缺货退款，我没注意看就同意了，但买家还投拆这样我还要赔偿违约金吗？

因店里缺货没来的急及时下架，买家直接付款，我跟买家说缺货，买家申请缺货退款，我没注意看就同意了，但买家还投拆，这样我还要赔偿违约金吗？