+7 499 196 95 39
Данная программа предназначена для циклической настройки весовых коэффициентов модели нейронной сети, созданной на основе топологии трансформер. В качестве метода настройки используется алгоритм обратного распространения ошибки в комбинации с механизмом обучения с подкреплением, который в каждом цикле рассчитывает эффективность нейронной сети и награду за принятые решения. Особенностью алгоритма является динамическое определение награды на базе метрики ROUGE. Она рассчитывается как отношение длины самой большой общей последовательности слов между сгенерированным и эталонным заголовками к количеству слов в эталонном заголовке (для расчёта полноты) или сгенерированном (для расчёта точности). В программе задействуется 2 модели нейронных сетей, одна из которых используется как опорная для того, чтобы не допускать слишком сильного изменения весов. Вторая настраивается для решения задачи суммаризации. Программа реализует следующий процедуры подготовки данных для настройки модели и контроля настройки модели во времени. Расчет награды и оценки эффективности полученной модели выполняются с использованием открытого программного обеспечения. Входными данными для программы являются: веса предобученной модели, csv таблица с данными для обучения в двух колонках: text — исходный текст, summary — краткое резюме текста. Выходными данными являются веса обученной модели, сохраняемые через фиксированное количество их обновлений, файлы с логами, в которых отражается изменение наград после каждого батча и каждой эпохи. Python 3.5