+7 499 196 95 39
Программа предназначена для автоматизации запуска множества экспериментов и сбора их результатов при необходимости проверки множества гипотез в рамках одной задачи. Особенностью комплекса является ориентированность на запуск процессов на узлах вычислительного кластера с установленным менеджером управления ресурсами Slurm. Программа включает в себя: 1) запускающий скрипт, в котором пользователь указывает пути к конфигурационным файлам, сохранённым в формате HOCON, описывающим параметры экспериментов, параметры узлов, которые будут запрошены при регистрации процесса на кластере для каждого эксперимента, и другие опции; 2) три базовых скрипта эксперимента, в которых описаны последовательности действий, такие как подготовка данных, сборка/загрузка модели, обучение/тестирование, сохранение результатов, ведение лога: сбор модели и обучение, дообучение загружаемой модели, тестирование сохранённой модели. Скрипты работают с моделями, реализованными с использованием фреймворка tensorflow, а классы, описывающие модели должны реализовывать интерфейс в виде следующих функций: сборка модели по переданному конфиг файлу, запуск потока подачи примеров, получение оценок точности модели на тестировочном множестве, запуск итерации обучения; 3) скрипт сбора результатов экспериментов в единую таблицу. Python 2