请问我能直接把货退给他吗？

买家商品介绍里是一盒，收到货后只有一支。找他理论，让我自己承担邮费，给我退货，请问我能直接把货退给他吗？直接退货他，那邮费他不打给我，怎么办？