Belarus Big Data #31

Roman Novik (EPAM) - "Как создаются платформы данных, которые способны приспосабливаться и эволюционировать" Приходит заказчик, и говорит: "Я хочу, чтобы вы мне сделали очень крутую платформу, но я уже выбрал стек, какие компоненты должны в ней быть, и даже подготовил скилл-матрицу людей, которые должны её делать!". И вы смотрите на этот инпут, и медленно седеете, думая, что за то, чтобы эта платформа была "крутой", будут спрашивать с вас! Как выпутаться из этой ситуации? И не остаться с заказчиком в хороших отношениях? И на самом деле, доставить ему "крутую" платформу? В это докладе вы услышите лишь про один из возможных "рецептов", но из жизни. Igor Bobak (EPAM) - "Вывод моделей машинного обучения в продакшн (живой пример)" Для заказчика был разработан jupyter-ноутбук с типичным ML-пайплайном (чистка данных, построение фич, ML, метрики). Был использован следующий стек: - Spark - XGBoost - Pandas - Numpy - Scikit-learn Когда ML-часть закончилась, возникла потребность заставить модели работать и приносить прибыль. В докладе будет рассказано об опыте продукционализации моделей машинного обучения, а именно о том, какие задачи возникали перед командой и как они решались.