Почему ГАН не могут быть непосредственно использованы в НЛП?
Создание образа вещественнозначного делаются со случайным преобразованием вектора отображения является непрерывным процессом. Таким образом, дискриминатор ошибки может быть контр-распространяющимся в генератор.
При обработке естественного языка, кодер формирует процесс декодирования текста, процесс создания модели слова на самом деле в процессе выбранных слов словаря, оно основано на вероятности слов в целом тока на выходе распределительной сети, выберите наибольшие вероятности слов. Выбор слов Argmax процесса является дискретным процессом, является непроводящим. Таким образом, не градиент обратного распространения D в G, поэтому G не обновляется параметров.
Текст решения ГАН:
1. Прямой вероятности после того, как прошла SoftMax генератора дискриминатора, не Argmax образец может обратное распространение
Сеть Градиент политики 2. Стратегия
3. Гамбл-SoftMax