Data Engineer работает в сфере информационной инженерии, занимается доставкой, хранением и обработкой данных. Профессия имеет ярко выраженные технические черты, подойдет для тех, кто увлекается информационными технологиями. Кстати, в 2021 году центр профориентации ПрофГид разработал точный тест на профориентацию. Он сам расскажет вам, какие профессии вам подходят, даст заключение о вашем типе личности и интеллекте.

Читайте также:

Экспертные комментарии в статье:

Никита Васильев

Никита Васильев, Senior Data Engineer, Inno.tech; преподаватель программирования на Python в GeekBrains.

Краткое описание

Появление Big Data изменило стратегию работы с данными. Data Analyst и Scientist занимаются анализом и извлечением данных из огромных массивов, а Data Engineer специализируется на разработке структуры для Big Data и других типов данных. Работа связана с большим количеством профессиональных компетенций, но она популярна из-за достойного уровня оплаты труда и колоссальной востребованности на кадровом рынке.

Data Engineer востребован везде, где есть обилие источников данных, работа с которыми вместе с тем является нетривиальной задачей. Профессия очень распространена, потому что необходимость в правильном сборе и хранении данных увеличилась вслед за развитием предиктивной аналитики, для работы которой необходимы чистые данные. Потому что чем меньше в исходных данных дефектов, тем лучше модель будет выявлять закономерности. 

Никита Васильев

Особенности профессии

Data Engineer занимается извлечением, последующим преобразованием, загрузкой и обработкой данных. Нередко Data Engineer и Data Scientist путают, однако это разные профессии. Первый специалист – гуру Big Data и безупречно знает программирование, второму нет равных в работах, связанных с аналитическими процессами и алгоритмами. Data Engineer – профессиональный программист, он пишет код, без которого невозможно построить пайплайн данных.

Data Engineer в первую очередь автоматизирует и в дальнейшем поддерживает извлечение данных (Extract) их преобразование (Transform) из различных источников, таких как сырые логи в JSON, таблицы в базах данных, файлы в сетевых каталогах и так далее. Затем сохраняет (Load) их в том виде, в котором ими будут пользоваться конечные потребители. Это могут быть Data Scientists (DS), Data Analyst, Buisness analyst и так далее. А весь процесс получил аббревиатурное название ETL (Extract, Transform, Load).

Во вторую очередь обязанность Data Engineer – это формирование различных фреймворков для работы с данными и анализа их качества, которые упрощают порог вхождения, а также гарантируют, что все данные будут консистентны. Также часто в требованиях к вакансии можно встретить выкатку моделей DS в продакшен, то есть в целевое использование.

Технологии, с которыми работает Data Engineer, зависят от того, какие из них необходимы в компании. В основном это различные базы данных, инструменты ETL, а из языков программирования популярны Python и Scala.

Никита Васильев

Data Engineers востребованы во всех сферах бизнеса, например, в банковском секторе, который имеет тысячи хранилищ информации с данными, касающимися клиентов, транзакций и других финансовых операций. Конкуренция в сфере информационной инженерии невысокая, как утверждают российские HR-специалисты. Сейчас отечественный рынок испытывает потребность в опытных Data Engineers, поэтому работу долго искать не придется.

Плюсы и минусы профессии

Плюсы

  1. Должность Data Engineer высокооплачиваемая. 
  2. Работодатели заинтересованы в опытных Data Engineer, поэтому много возможностей устроиться в крупную отечественную или зарубежную компанию.
  3. Работа достаточно интересная.
  4. Привыкший работать в режиме многозадачности Data Engineer может реализовать свой потенциал в смежных сферах деятельности.
Читайте также:

Минусы

  1. Многие компании заинтересованы в Data Engineer, но четких требований и списка должностных обязанностей для таких специалистов нет – это порождает недопонимание между работодателями и кандидатами на трудоустройство или даже уже нанятыми сотрудниками.

Важные личные качества

Data Engineer – ответственный и очень педантичный специалист, которому надо уметь трудиться в формате многозадачности. Работа с данными требует внимательности, развитого технического мышления, аналитических способностей. Data Engineer нужно умееть работать в команде. 

Обучение на Data Engineer

Профессия новая, и пока требования к уровню образования размыты. Конечно, хорошей базой будет вузовская подготовка по направлениям, связанным с программной инженерией. После окончания университета или института, скорее всего, придется продолжить обучение на отечественных и зарубежных курсах.

Вузы

Казанский (Приволжский) федеральный университет
Технологии разработки информационных систем (Институт информационных технологий и интеллектуальных систем КФУ)
Уральский федеральный университет имени первого Президента России Б.Н. Ельцина
Программная инженерия (Институт радиоэлектроники и информационных технологий-РтФ УрФУ)
Поволжский государственный технологический университет
Программная инженерия (Факультет информатики и вычислительной техники ПГТУ)
Сибирский государственный университет науки и технологий имени академика М.Ф. Решетнева
Программная инженерия (Институт информатики и телекоммуникаций СибГУ им. М.Ф. Решетнева)
МИРЭА — Российский технологический университет
Разработка и дизайн компьютерных игр и мультимедийных приложений (Институт информационных технологий РТУ МИРЭА)
Читайте также:

Лучшие вузы для Data Engineer

  1. МГТУ им. Н. Э. Баумана.
  2. НИЯУ МИФИ.
  3. РТУ МИРЭА.
  4. НИУ ВШЭ.
  5. КубГТУ.

Курсы

GeekUniversity

На факультете Data Engineering можно освоить профессию с нуля. Программа рассчитана на низкий порог вхождения, обучение позволяет будущим Data Engineering приобрести год опыта. Курс разработан в содружестве с онлайн-университетом Mail.ru Group. Первые полгода студенты обучаются бесплатно, дальнейшая стоимость составляет 4 990 руб. в месяц. Выпускники получают сертификат и диплом о профессиональной переподготовке.

Место работы

Data Engineering востребованы в IT-компаниях, финансовом и других секторах. В них заинтересованы образовательные платформы, крупные торговые площадки, операторы мобильной связи – любые виды бизнеса, которые испытывают потребность в хранении петабайтов данных.

Ступени развития Data Engineer не отличаются от профессиональной траектории коллег по цеху в IT. Компетенции условно разделяют на уровни Junior, Middle, Senior, Team Lead.

Никита Васильев

Вместе с профессиональным ростом Data Engineer увеличивается и оплата его труда.

Заработная плата

Уровень оплаты труда Data Engineering зависит от масштаба проекта и компании, профессиональных компетенций, опыта, наличия высшего и дополнительного профессионального образования.

Зарплата data engineer на 12.10.2021

Информации о зарплатах предоставлена порталом hh.ru.

Россия 100000—330000₽
Москва 100000—350000₽

Компании, где можно работать data engineer

Информация из вакансий на HH.ru.

Профессиональные знания

  1. Big Data Engineering, SQL.
  2. Технологии построения хранилищ данных.
  3. Потоковая обработка данных.
  4. Технический иностранный язык.
  5. Алгоритмы и структуры данных.
  6. Программирование, в приоритете язык Python, Scala или Java.

Требования в вакансии зависят от специфики бизнеса: кому-то нужен инженер для подготовки данных для DS, кому-то – для формирования витрин для построения BI-аналитик, а кому-то – для формирования управленческой и финансовой отчетности. И если от первого будут ждать понимания работы DS-модели на базовом уровне, то от последнего – знаний основ МСФО, РСБУ и т. д.

Никита Васильев

Читайте также: