Запись трансляции Яндекс изнутри: инфраструктура хранения и обработки данных HD

Продолжается серия встреч, посвящённых технологиям Яндекса. В августе мы делились секретами поиска, а теперь пришёл черёд подробного рассказа об инфраструктуре хранения и обработки данных. Наша инфраструктура уникальна. Суммарный объём данных, которыми оперирует Яндекс, измеряется эксабайтами, а требования к системам хранения — очень жёсткие. Руководители команд и ведущие разработчики направления инфраструктуры расскажут, как удаётся добиться согласованной работы огромных дата-центров, что такое Media Storage, YT и Yandex Query Language. Слушатели узнают, как устроена СУБД ClickHouse, на основе которой работает Яндекс.Метрика. И ещё — всем наконец-то станет известно, сколько же в Яндексе MapReduce-систем. Ссылки для ознакомления: - YT: зачем Яндексу своя MapReduce-система и как она устроена: https://habrahabr.ru/company/yandex/blog/311104/ - Как писать меньше кода для MR, или Зачем миру ещё один язык запросов? История Yandex Query Language: https://habrahabr.ru/company/yandex/blog/312430/ - Как применение кодов избыточности в SDS помогает Яндексу дёшево и надёжно хранить данные: https://habrahabr.ru/company/yandex/blog/311806/ - Яндекс открывает ClickHouse: https://habrahabr.ru/company/yandex/blog/303282/ Пожалуйста, заполните анкету обратной связи на https://events.yandex.ru/events/meetings/15-oct-2016/feedback