ЕНВД и возвратная накладная с НДС

[Сливки]

Помогите пожалуйста разобраться в следующей ситуации:
У нас только один вид деятельности - розничная торговля, подпадающая под ЕНВД. От поставщика поступил товар с накладной и счет-фактурой само собой с НДС. Часть товара мы не реализовали и теперь должны вернуть по возвратной накладной этому поставщику.
Поставщик, поскольку является плательщиком НДС, требует от нас чтобы в возвратной накладной был выделен НДС и была счет-фактура. Но я боюсь, что в этом случае налоговая обяжет нас уплатить этот НДС. Или я напрасно боюсь?