Каква е разликата между архитект на данни, разработчик на бази данни, инженер на данни и разработчик на ETL?


Отговор 1:

Всички те са обозначения и роли, определени от индивидуалната организация и традиционен начин. Позволете ми да отговоря на традиционната роля и отговорност на тези роли и какво се случва сега:

Разработчик на ETL - който пише картографиране и преобразуване на данни, работен поток и поток от процеси на ETL задачи, стартиран главно в инструмента като Informatica, PL / SQL, Datastage, ODI, Ab Initio

Разработчик на база данни - кой пише SQL, PL / SQL, съхранени процедури, задействания, за да изпълни определена работа в рамките на Database & Shell Scripting и да се изпълнява чрез задания на Scheduler или CRON

Архитект на данните - които проектират модела на данни, архитектура, стратегия за управление на данни за организация; обикновено за всякакви инструменти за управление на данни в индустрията

Настоящият термин е Инженерът на данни - Който е експерт в събирането на данни от различни източници (структурирани или неструктурирани), различни видове формат на данни, обеми и скорост и съхраняване на данните в платформата Big Data Platform / Data Lake (релационна или Hadoop платформа) или по какъвто и да е друг начин), извършете интегриране на данни, използвайки ETL / Отворени източници, осигурете качество на данните и планиране на управление и споделяне на данни в реално време. Това е 60–70% от усилията в организационно-аналитичната платформа.

Дано това се изчисти


Отговор 2:

архитект на данни проектира потока на съобщенията от източник до местоназначение. какъв протокол да се използва, какви функции за защита да се вземат предвид, всички NFR като висока наличност, DR и т.н. - архитектът решава.

разработчик на база данни се занимава със създаването на база данни, таблици, схеми и др., заедно с ограничения за достъп, поддръжка и т.н.

Data Engineer управлява потока от данни от източник до местоназначение, когато данните са големи. те се възползват от разпределени изчислителни функционалности (например искра на hadoop) за справяне с притока на големи данни, заедно с почистване, трансформиране и съхраняване в hdfs, бази данни.

Разработчиците на ETL използват усъвършенствани индустриални стандартни инструменти (най-вече се предлага с висока цена на лиценза) като abinitio, datastage за извличане на данни от източника-> трансформиране на данните в желаната структура-> зареждане до конкретна дестинация.