买家给了差评，退了钱给他不回复了？

买家给了差评，联系他说退五元给他。他把支付宝发过来，我也转了五元过去，他就再也不回复了也不删差评。这样我可以去投诉差评吗？