碰到恶意买家拍下（确定是恶意买家），不给他发货影响大吗？

碰到恶意买家（确定是恶意买家）。不想发货，现在买家已经联系小二投诉了，小二一直让我们和买家协商。这没发协商啊！不协商不发货会扣分吗？怎样处理损失最小？