Data Engineering nədir və data mühəndisi nə iş görür?
Hər sifariş, ödəniş və klik data yaradır. Bu datanı toplayıb analitikaya hazır hala gətirən sistemləri kim qurur? Data mühəndisinin işinə yaxından baxaq.
Onlayn mağazadan sifariş verdiyin anı təsəvvür et. Səbətə məhsul atırsan, kartla ödəyirsən, kuryer yola düşür. Bu bir neçə dəqiqədə onlarla sistem data yaradır: sifariş bazası, ödəniş sistemi, anbar, çatdırılma tətbiqi. Bu datanın hamısı fərqli yerlərdə, fərqli formatlarda saxlanır.
Rəhbərlik isə sadə bir sual verir: “Keçən ay hansı şəhərdə satış artıb?” Bu suala cavab vermək üçün dağınıq datanı bir yerə toplamaq, təmizləmək və etibarlı şəkildə saxlamaq lazımdır. Bu işi görən mütəxəssis Data Engineer-dir.
Data mühəndisi nə edir?
Data mühəndisinin əsas işi datanın mənbədən istifadəçiyə qədər etibarlı yolunu qurmaqdır. Bu yola data pipeline deyilir. Tipik pipeline üç addımdan ibarətdir:
- Extract (çıxarma) — datanı mənbələrdən götürmək: verilənlər bazaları, API-lər, CSV faylları.
- Transform (çevirmə) — datanı təmizləmək, formatları uyğunlaşdırmaq, təkrarları silmək.
- Load (yükləmə) — hazır datanı analitiklərin istifadə edəcəyi anbara yazmaq.
Bu prosesin qısa adı ETL-dir. Müasir sistemlərdə bəzən əvvəl yükləyib sonra çevirirlər — buna da ELT deyilir.
Hansı alətlərlə işləyir?
- Python və SQL — datanı oxumaq, çevirmək və sorğulamaq üçün iki əsas dil.
- PostgreSQL kimi verilənlər bazaları — datanı strukturlaşdırılmış şəkildə saxlamaq üçün.
- Apache Airflow — pipeline-ları planlaşdırmaq və avtomatik işə salmaq üçün. Məsələn, “hər gecə saat 02:00-da satış datasını yenilə”.
- Docker — bütün bu sistemi istənilən kompüterdə eyni şəkildə işə salmaq üçün.
Data Engineer ilə Data Analyst arasında fərq
Sadə müqayisə: data mühəndisi su kəmərini çəkir, data analitik isə həmin sudan istifadə edir. Analitik suallara cavab axtarır, hesabat və qrafiklər hazırlayır. Mühəndis isə ona lazım olan datanın vaxtında, düzgün və tam gəlməsini təmin edir. Hər iki peşə bir-birini tamamlayır.
Haradan başlamaq olar?
Ən yaxşı başlanğıc nöqtəsi SQL və Python-dur. Sonra kiçik bir layihə qur: məsələn, açıq bir API-dən hava məlumatlarını götürüb verilənlər bazasına yazan skript. Bu skripti hər gün avtomatik işə salmağı öyrəndikdə, artıq ilk pipeline-ını qurmuş olursan.
Data Engineering nəzəriyyə ilə yox, qurduğun sistemlərlə öyrənilir. Hər yeni pipeline sənə bir alət daha öyrədir.
DaCy Academy-nin Data Engineering proqramı məhz bu yolla qurulub: Python və SQL-dən başlayıb data pipeline-lara, Airflow ilə orkestrasiyaya və Docker-ə qədər — hər mövzu praktiki tapşırıqla möhkəmləndirilir.