Увеличение масштаба Keras с помощью оценщиков
Знаете ли вы, что вы можете преобразовать модель Keras в оценщик TensorFlow? Это даст вам целый ряд вариантов распределенного обучения и масштабирования. Мы собираемся подготовить модель Keras к запуску в масштабе, преобразовав ее в оценщик TensorFlow.
Модель Кераса, встречайте оценщика
Итак, у нас есть модель Кераса; простой для определения, понятный для чтения и удобный в обслуживании. Но у нас это не так хорошо с масштабированием до более крупных наборов данных или запуском на многих машинах.
К счастью, у Keras и TensorFlow есть фантастические возможности взаимодействия.
Мы хотели бы преобразовать нашу модель в Keras Estimator, который поставляется со встроенным распределенным обучением. Это наш билет к решению наших задач по масштабированию.
Кроме того, это упрощает выполнение обслуживания моделей после завершения обучения.
Мельчайший песок
Интересующая нас функция называется model_to_estimator
. Часть «модель» относится к модели Кераса, а «оценщик» относится к оценщику TensorFlow.
Я взял блокнот, с которого мы начали в предыдущем эпизоде и обновил его новым кодом для преобразования нашей модели Keras в оценщик TensorFlow. Мы также рассмотрим, как экспортировать модель Keras и модель TensorFlow после завершения обучения.
Я записал скринкаст с моим ядром Kaggle, чтобы проиллюстрировать детали того, как все это происходит:
Подведение итогов
Распределенное обучение с использованием оценщиков TensorFlow - это простая настройка модели Keras одной строкой. Итак, теперь у вас есть лучшее из обоих миров: простой для чтения синтаксис создания модели Keras, а также распределенное обучение с помощью оценщиков TensorFlow.
Просто помните, что все, что вам нужно для распределенного обучения с вашей моделью Keras, - это использовать model_to_estimator
.
Спасибо, что прочитали этот выпуск Cloud AI Adventures. Если вам нравится этот сериал, дайте мне знать, хлопнув по статье. Если вы хотите больше машинного обучения, обязательно подпишитесь на я на Medium или подпишитесь на канал YouTube, чтобы отслеживать будущие выпуски по мере их выхода. Скоро к вам будут добавлены новые серии!