Devops engineer (Hadoop) от 300 000 руб. до вычета налогов ООО HeadHunter::Backend Москва

[Kate]

Требуемый опыт работы: 3–6 лет
Полная занятость, полный день

Мы создаём высоконагруженный сервисный сайт, который занимает 3 место в мире по рейтингу SimilarWeb среди сайтов по поиску работы. Ежедневно к нам приходят около полутора миллионов пользователей, смотрят более 100 миллионов страниц (до 10000 в секунду), и делают около 1 миллиона откликов на вакансии. Мы хотим знать о всех действиях пользователя и понимать их поведение. Поэтому внедряем различные инструменты для сбора и анализа данных, и сейчас ищем человека, который будет развивать инфраструктуру нашего DWH.

Задачи

• Поддерживать, развивать и мониторить существующие hadoop-кластера;
• Автоматизировать развертывание кластера (мы используем ansible);
• Планировать горизонтальный и вертикальный роста кластера;
• Развивать инфраструктуру хранилища, экспериментировать с новыми системами сбора, хранения и анализа данных;
• Помогать аналитикам и разработчикам в их ежедневной работе с hadoop;

Требования

• Практические навыки администрирования hadoop-кластера;
• Глубокие знания Linux;
• Любовь к автоматизации рутинных задач на скриптовых языках (shell/awk/sed, python);
• Опыт разработки на java (не обязательно глубоко разбираться, но иногда требуется залезть в код и пропатчить presto/hive/orc/…);
• Приветствуется знание Presto, Spark, Hive, Airflow, Kafka и инструментов аналитики.

Вас ждет

• Hadoop-кластер из 50+ машин содержащий около 1.5 Пб данных;
• "Белая" заработная плата, выплачиваемая точно в срок (мы готовы обсуждать уровень дохода в зависимости от уровня ваших знаний, примерные суммы net ("на руки") указаны в "вилке" вакансии);
• Гибкий график работы (забыть про утренние пробки — это бесценно);
• Возможность удаленной работы;
• Хороший тренажерный зал на первом этаже;
• Кофе в кофемашинах, чай, печенье, фрукты, которые не исчезают с кухни;
• Корпоративный ДМС (решаем вопросы со здоровьем быстро и удобно);