Data Engineer
Data Engineer работает в сфере информационной инженерии, занимается доставкой, хранением и обработкой данных. Профессия имеет ярко выраженные технические черты, подойдет для тех, кто увлекается информационными технологиями. Кстати, недавно центр профориентации ПрофГид разработал точный тест на профориентацию, который сам расскажет, какие профессии вам подходят, даст заключение о вашем типе личности и интеллекте.
Краткое описание
Появление Big Data изменило стратегию работы с данными. Data Analyst и Scientist занимаются анализом и извлечением данных из огромных массивов, а Data Engineer специализируется на разработке структуры для Big Data и других типов данных. Работа связана с большим количеством профессиональных компетенций, но она популярна из-за достойного уровня оплаты труда и колоссальной востребованности на кадровом рынке.
Data Engineer востребован везде, где есть обилие источников данных, работа с которыми вместе с тем является нетривиальной задачей. Профессия очень распространена, потому что необходимость в правильном сборе и хранении данных увеличилась вслед за развитием предиктивной аналитики (предиктивная, или прогнозная, предсказательная, аналитика – класс методов анализа больших данных, которые используются для прогнозирования поведения объектов и субъектов с целью принятия оптимальных решений. – Прим. ред.), для работы которой необходимы чистые данные. Потому что чем меньше в исходных данных дефектов, тем лучше модель будет выявлять закономерности.
Особенности профессии
Data Engineer занимается извлечением, последующим преобразованием, загрузкой и обработкой данных. Нередко Data Engineer и Data Scientist путают, однако это разные профессии. Первый специалист – гуру Big Data и безупречно знает программирование, второму нет равных в работах, связанных с аналитическими процессами и алгоритмами. Data Engineer – профессиональный программист, он пишет код, без которого невозможно построить пайплайн данных.
Data Engineer в первую очередь автоматизирует и в дальнейшем поддерживает извлечение данных (Extract) их преобразование (Transform) из различных источников, таких как сырые логи в JSON, таблицы в базах данных, файлы в сетевых каталогах и так далее. Затем сохраняет (Load) их в том виде, в котором ими будут пользоваться конечные потребители. Это могут быть Data Scientists (DS), Data Analyst, Buisness analyst и так далее. А весь процесс получил аббревиатурное название ETL (Extract, Transform, Load).
Во вторую очередь обязанность Data Engineer – это формирование различных фреймворков для работы с данными и анализа их качества, которые упрощают порог вхождения, а также гарантируют, что все данные будут консистентны. Также часто в требованиях к вакансии можно встретить выкатку моделей DS в продакшен, то есть в целевое использование.
Технологии, с которыми работает Data Engineer, зависят от того, какие из них необходимы в компании. В основном это различные базы данных, инструменты ETL, а из языков программирования популярны Python и Scala.
Data Engineers востребованы во всех сферах бизнеса, например, в банковском секторе, который имеет тысячи хранилищ информации с данными, касающимися клиентов, транзакций и других финансовых операций. Конкуренция в сфере информационной инженерии невысокая, как утверждают российские HR-специалисты. Сейчас отечественный рынок испытывает потребность в опытных Data Engineers, поэтому работу долго искать не придется.
Плюсы и минусы профессии
Плюсы
- Должность Data Engineer высокооплачиваемая.
- Работодатели заинтересованы в опытных Data Engineer, поэтому много возможностей устроиться в крупную отечественную или зарубежную компанию.
- Работа достаточно интересная.
- Привыкший работать в режиме многозадачности Data Engineer может реализовать свой потенциал в смежных сферах деятельности.
Минусы
- Многие компании заинтересованы в Data Engineer, но четких требований и списка должностных обязанностей для таких специалистов нет – это порождает недопонимание между работодателями и кандидатами на трудоустройство или даже уже нанятыми сотрудниками.
Важные личные качества
Data Engineer – ответственный и очень педантичный специалист, которому надо уметь трудиться в формате многозадачности. Работа с данными требует внимательности, развитого технического мышления, аналитических способностей. Data Engineer нужно умееть работать в команде.
Обучение на Data Engineer
Профессия новая, и пока требования к уровню образования размыты. Конечно, хорошей базой будет вузовская подготовка по направлениям, связанным с программной инженерией. После окончания университета или института, скорее всего, придется продолжить обучение на отечественных и зарубежных курсах.
Лучшие вузы для Data Engineer
- МГТУ им. Н. Э. Баумана.
- НИЯУ МИФИ.
- РТУ МИРЭА.
- НИУ ВШЭ.
- КубГТУ.
Курсы
GeekUniversity
На факультете Data Engineering можно освоить профессию с нуля. Программа рассчитана на низкий порог вхождения, обучение позволяет будущим Data Engineering приобрести год опыта. Курс разработан в содружестве с онлайн-университетом Mail.ru Group. Первые полгода студенты обучаются бесплатно, дальнейшая стоимость составляет 4 990 руб. в месяц. Выпускники получают сертификат и диплом о профессиональной переподготовке.
Курсы
Вузы
-
Институт наукоемких технологий и перспективных материалов ДВФУПрограммная инженерия4 года200 000 ₽/год50 бюджетных мест
-
Факультет компьютерных наук НИУ ВШЭПрограммная инженерия4 года440 000 ₽/год80 бюджетных мест
-
Факультет информационных технологий РГСУРазработка корпоративной информационной системы4 года188 000 ₽/год20 бюджетных мест
-
Институт микроприборов и систем управления МИЭТПрограммные технологии распределенной обработки информации4 года225 000 ₽/год75 бюджетных мест
Ступени развития Data Engineer не отличаются от профессиональной траектории коллег по цеху в IT. Компетенции условно разделяют на уровни Junior, Middle, Senior, Team Lead.
Место работы
Data Engineering востребованы в IT-компаниях, финансовом и других секторах. В них заинтересованы образовательные платформы, крупные торговые площадки, операторы мобильной связи – любые виды бизнеса, которые испытывают потребность в хранении петабайтов данных.
Вместе с профессиональным ростом Data Engineer увеличивается и оплата его труда.
Заработная плата
Уровень оплаты труда Data Engineering зависит от масштаба проекта и компании, профессиональных компетенций, опыта, наличия высшего и дополнительного профессионального образования.
Информация из вакансий на HH.ru.
Требования в вакансии зависят от специфики бизнеса: кому-то нужен инженер для подготовки данных для DS, кому-то – для формирования витрин для построения BI-аналитик, а кому-то – для формирования управленческой и финансовой отчетности. И если от первого будут ждать понимания работы DS-модели на базовом уровне, то от последнего – знаний основ МСФО, РСБУ и т. д.
Профессиональные знания
- Big Data Engineering, SQL.
- Технологии построения хранилищ данных.
- Потоковая обработка данных.
- Технический иностранный язык.
- Алгоритмы и структуры данных.
- Программирование, в приоритете язык Python, Scala или Java.
Примеры компаний с вакансиями data engineer
