В широком смысле гиперпараметры можно разделить на две категории, которые приведены ниже:
1. Гиперпараметр для оптимизации
2. Гиперпараметр для конкретных моделей
Гиперпараметр для оптимизации
Процесс выбора лучших гиперпараметров для использования известен как настройка гиперпараметра, а процесс настройки также известен как оптимизация гиперпараметров. Параметры оптимизации используются для оптимизации модели.
Некоторые из популярных параметров оптимизации приведены ниже:
• Скорость обучения. Скорость обучения — это гиперпараметр в алгоритмах оптимизации, который контролирует, насколько модель должна измениться в ответ на предполагаемую ошибку каждый раз, когда модель веса обновляются. Это один из важнейших параметров при построении нейронной сети, а также он определяет частоту перекрестной проверки с параметрами модели. Выбор оптимизированной скорости обучения является сложной задачей, поскольку, если скорость обучения очень низкая, это может замедлить процесс обучения. С другой стороны, если скорость обучения слишком велика, она может не оптимизировать модель должным образом.
Примечание. Скорость обучения является важнейшим гиперпараметром для оптимизации модели, поэтому, если требуется настроить только один гиперпараметр, рекомендуется настроить скорость обучения.
• Размер пакета. Чтобы повысить скорость процесса обучения, обучающий набор делится на различные подмножества, которые называются пакетами.
Количество эпох: Эпоху можно определить как полный цикл обучения модели машинного обучения. Epoch представляет собой итеративный процесс обучения. Количество эпох варьируется от модели к модели, и различные модели создаются с более чем одной эпохой. Чтобы определить правильное количество эпох, учитывается ошибка валидации. Количество эпох увеличивается до тех пор, пока не уменьшится ошибка проверки. Если нет улучшения ошибки уменьшения для последовательных эпох, это указывает на прекращение увеличения количества эпох.
