Azure Data Factory: Panduan Lengkap untuk Pemula

Menyiapkan Azure Data Factory

Sekarang, mari beralih ke bagian praktis dari panduan ini!

1. Prasyarat

1. Subskripsi Azure yang aktif Azure subscription.

2. Resource group untuk mengelola sumber daya Azure.

2. Membuat instance Azure Data Factory

1. Masuk ke Azure portal.

2. Buka Create a resource dan pilih Data Factory.

Buat resource Data Factory baru

3. Isi kolom yang diperlukan, termasuk subscription, resource group, dan region.

Konfigurasi resource Data Factory

4. Tinjau dan buat instance.

Instance Azure Data Factory dibuat

3. Menavigasi antarmuka ADF

Antarmuka ADF terdiri dari bagian utama berikut (dapat diakses melalui menu navigasi di sebelah kiri)

1. Author: Untuk membuat dan mengelola pipeline.

2. Monitor: Untuk melacak run pipeline dan mengatasi masalah.

3. Manage: Untuk mengonfigurasi linked services dan integration runtime.

Antarmuka Azure Data Factory

Membangun Pipeline Pertama Anda di Azure Data Factory

Mari kita ikuti langkah-langkah untuk membuat pipeline data sederhana.

Langkah 1: Buat linked services

Membuat linked service di Azure Data Factory

1. Buka tab Manage

• Buka instance Azure Data Factory Anda, lalu masuk ke tab Manage di antarmuka ADF. Di sini Anda mendefinisikan linked services, yang menghubungkan sumber dan tujuan data Anda.

2. Tambahkan linked service untuk sumber data

• Klik Linked services di bawah tab Manage.
• Pilih + New untuk membuat linked service baru.
• Dari daftar opsi yang tersedia, pilih sumber data yang ingin Anda hubungkan, seperti Azure Blob Storage.
• Berikan detail koneksi yang diperlukan, seperti nama akun penyimpanan dan metode autentikasi (misalnya, account key atau managed identity).
• Uji koneksi untuk memastikan semuanya sudah benar, lalu klik Create.

3. Tambahkan linked service untuk tujuan data

• Ulangi proses untuk tujuan data, seperti Azure SQL Database.
• Pilih tipe tujuan yang sesuai, konfigurasikan pengaturan koneksi (misalnya, nama server, nama database, dan metode autentikasi), lalu uji koneksi.
• Setelah terverifikasi, simpan linked service.

Langkah 2: Buat dataset

Membuat dataset di Azure Data Factory

1. Buka tab Author

• Buka tab Author di antarmuka Azure Data Factory Anda. Di sinilah Anda merancang dan mengelola pipeline, dataset, dan komponen alur kerja lainnya.

2. Tambahkan dataset untuk sumber

• Klik tombol + dan pilih Dataset dari menu dropdown.
• Pilih tipe data store yang sesuai dengan linked service sumber Anda. Misalnya, jika sumber Anda adalah Azure Blob Storage, pilih tipe data store yang sesuai, seperti Delimited Text, Parquet, atau opsi relevan lainnya.
• Konfigurasikan dataset:
• Linked service: Pilih linked service yang Anda buat sebelumnya untuk sumber data.
• File path: Tentukan path atau container tempat data sumber Anda berada.
• Skema dan format: Tentukan format data (misalnya, CSV, JSON) dan impor skema bila perlu. Ini memungkinkan ADF memahami struktur data Anda.
• Klik OK untuk menyimpan dataset.

3. Tambahkan dataset untuk tujuan

• Ulangi proses untuk dataset tujuan.
• Pilih tipe data store yang sesuai dengan linked service tujuan Anda. Misalnya, jika tujuan Anda adalah Azure SQL Database, pilih tipe yang sesuai seperti Table.
• Konfigurasikan dataset:
• Linked service: Pilih linked service yang Anda buat untuk tujuan.
• Nama tabel atau path: Tentukan tabel atau path tujuan tempat data akan ditulis.
• Skema: Secara opsional tentukan atau impor skema untuk dataset tujuan guna memastikan kompatibilitas dengan data sumber.
• Simpan dataset.

Langkah 3: Tambahkan aktivitas

Menambahkan aktivitas copy data di Azure Data Factory

1. Buka editor Pipeline

• Di tab Author, buat pipeline baru dengan mengklik + lalu pilih Pipeline.
• Ini akan membuka editor pipeline, antarmuka visual tempat Anda dapat merancang alur kerja data.

2. Tambahkan aktivitas copy data

• Dari toolbox di kiri, temukan aktivitas Copy data di bawah kategori Move & Transform.
• Seret aktivitas Copy data ke kanvas. Aktivitas ini memindahkan data dari sumber ke tujuan.

3. Konfigurasikan aktivitas copy data

• Klik aktivitas Copy data untuk membuka panel pengaturannya.
• Di tab Source:
• Pilih dataset sumber yang Anda buat sebelumnya.
• Konfigurasikan opsi tambahan seperti filter file atau folder jika diperlukan.
• Di tab Sink:
• Pilih dataset tujuan.
• Tentukan pengaturan tambahan, seperti cara menangani data yang sudah ada di tujuan (misalnya, overwrite atau append).
• Gunakan tab Mapping untuk menyelaraskan field atau kolom dari sumber ke tujuan, memastikan kompatibilitas data.
• Simpan konfigurasi Anda.

Langkah 4: Publish dan jalankan pipeline

Mempublish pipeline di Azure Data Factory

1. Publish pipeline Anda

• Setelah pipeline dikonfigurasi, klik Publish di toolbar.
• Ini menyimpan pipeline Anda dan membuatnya siap dieksekusi. Tanpa publish, perubahan pada pipeline tetap sebagai draft dan tidak dapat dijalankan.

2. Jalankan pipeline

• Untuk menguji pipeline, klik Add Trigger di bagian atas dan pilih Trigger Now untuk menjalankan secara manual. Ini memungkinkan Anda memverifikasi bahwa pipeline berfungsi sesuai harapan.
• Atau, siapkan jadwal otomatis:
• Buka tab Triggers dan buat trigger baru.
• Tentukan kondisi trigger, seperti jadwal berbasis waktu (misalnya, setiap hari pukul 08.00) atau kondisi berbasis peristiwa (misalnya, kedatangan file di Azure Blob Storage).
• Asosiasikan trigger dengan pipeline Anda untuk mengaktifkan otomatisasi.

Kemampuan Integrasi dan Transformasi Azure Data Factory

Azure Data Factory menawarkan fitur integrasi dan transformasi data yang kuat untuk menyederhanakan alur kerja kompleks dan meningkatkan produktivitas. Di bagian ini, kita akan meninjau fitur-fitur tersebut.

1. Data flow

Data flow menyediakan lingkungan visual untuk mendefinisikan logika transformasi, sehingga memudahkan pengguna memanipulasi dan memproses data tanpa perlu menulis kode yang kompleks. Tugas umum yang dilakukan dengan data flow meliputi:

• Agregasi: Merangkum data untuk mengekstrak wawasan bermakna, seperti menghitung total penjualan atau rata-rata metrik kinerja.
• Join: Menggabungkan data dari beberapa sumber untuk membuat dataset yang lebih kaya untuk proses selanjutnya.
• Filter: Memilih subset data tertentu berdasarkan kriteria yang ditentukan, membantu berfokus pada informasi yang relevan.

Data flow juga mendukung operasi lanjutan seperti derivasi kolom, konversi tipe data, dan transformasi kondisional, menjadikannya alat yang serbaguna untuk menangani beragam kebutuhan data.

2. Integrasi dengan Azure Synapse Analytics

ADF terintegrasi mulus dengan Azure Synapse Analytics, menyediakan platform terpadu untuk pemrosesan big data dan analitik lanjutan. Integrasi ini memungkinkan pengguna untuk:

• Mengorkestrasi alur kerja data end-to-end yang mencakup pemasukan, persiapan, dan analitik data.
• Memanfaatkan mesin kueri Synapse yang kuat untuk memproses dataset berukuran besar secara efisien.
• Membuat pipeline data yang mengalir langsung ke Synapse Analytics untuk kebutuhan machine learning dan pelaporan.

Sinergi antara ADF dan Synapse ini membantu merampingkan alur kerja dan mengurangi kompleksitas pengelolaan alat terpisah untuk integrasi dan analisis data.

3. Penjadwalan dan pemantauan pipeline

• Penjadwalan: Seperti disebutkan, kemampuan penjadwalan ADF menawarkan fitur otomasi yang tangguh. Pengguna dapat mendefinisikan trigger berdasarkan interval waktu (misalnya, per jam, harian) atau peristiwa (misalnya, kedatangan file di Azure Blob Storage). 
• Pemantauan: Tab Monitor di Azure Data Factory, dipadukan dengan Azure Monitor, menyediakan pelacakan dan diagnostik waktu nyata untuk eksekusi pipeline. Pengguna dapat melihat log terperinci, melacak progres, serta dengan cepat mengidentifikasi kemacetan atau kegagalan. Peringatan dan notifikasi juga dapat dikonfigurasi dengan mudah. 

Use Case Azure Data Factory

Setelah meninjau fitur dan komponen ADF secara mendalam, mari lihat apa saja yang dapat kita lakukan dengannya. 

1. Migrasi data

ADF adalah alat yang kuat untuk memigrasikan data dari sistem on-premises ke platform berbasis cloud. ADF menyederhanakan migrasi kompleks dengan mengotomatisasi pemindahan data, memastikan integritas data, dan meminimalkan downtime. 

Sebagai contoh, Anda dapat menggunakan ADF untuk memigrasikan data dari SQL Server on-premises ke Azure SQL Database dengan intervensi manual minimal. Dengan memanfaatkan konektor bawaan dan integration runtime, ADF memastikan proses migrasi yang aman dan efisien, untuk data terstruktur maupun tidak terstruktur.

2. ETL untuk data warehousing

Extract, transform, and load (ETL) adalah inti dari data warehousing modern. Azure Data Factory merampingkan alur kerja ini dengan mengintegrasikan data dari berbagai sumber, menerapkan logika transformasi, dan memuatnya ke data warehouse. 

Misalnya, ADF dapat mengonsolidasikan data penjualan dari berbagai wilayah, mentransformasikannya menjadi format terpadu, dan memuatnya ke Azure Synapse Analytics. Proses yang efisien ini memungkinkan Anda menjaga data yang mutakhir dan berkualitas tinggi untuk pelaporan dan pengambilan keputusan.

3. Integrasi data untuk data lake

Data lake berfungsi sebagai repositori pusat untuk dataset yang beragam, memungkinkan analitik lanjutan dan machine learning. ADF memfasilitasi pemasukan data dari berbagai sumber ke Azure Data Lake Storage, mendukung skenario batch dan streaming. 

Sebagai contoh, Anda dapat menggunakan ADF untuk mengumpulkan file log, feed media sosial, dan data sensor IoT ke satu data lake. Dengan menyediakan alat transformasi dan integrasi data, ADF memastikan data lake tertata rapi dan siap untuk analitik serta beban kerja AI berikutnya.

Praktik Terbaik Menggunakan Azure Data Factory

Terakhir, ada baiknya meninjau beberapa praktik terbaik untuk menggunakan ADF secara efektif.

1. Desain pipeline modular

Untuk membuat alur kerja yang mudah dirawat dan dapat diskalakan, rancang pipeline dengan komponen yang dapat digunakan kembali. Desain modular memudahkan debug, pengujian, dan pembaruan bagian-bagian pipeline secara terpisah. Misalnya, alih-alih menanamkan logika transformasi data di setiap pipeline, buat pipeline yang dapat digunakan kembali dan dipanggil lintas banyak alur kerja. Ini mengurangi redundansi dan meningkatkan konsistensi antar proyek.

2. Optimalkan pemindahan data

• Gunakan kompresi: Untuk meminimalkan waktu transfer dan mengurangi penggunaan bandwidth jaringan, kompres dataset besar sebelum dipindahkan. Misalnya, menggunakan gzip atau metode serupa dapat mempercepat pemindahan file berukuran besar secara signifikan.
• Pilih integration runtime yang tepat: Pemilihan integration runtime (Azure IR, Self-hosted IR, atau SSIS IR) sangat krusial untuk mengoptimalkan performa. Misalnya, self-hosted IR dapat digunakan untuk pemindahan data on-premises guna memastikan transfer yang aman dan efisien, sementara Azure IR ideal untuk operasi cloud-native.

3. Terapkan penanganan error yang andal

• Kebijakan retry: Konfigurasikan kebijakan retry untuk error sementara, seperti gangguan jaringan atau server timeout. Ini memastikan pipeline dapat pulih dan selesai dengan sukses tanpa intervensi manual.
• Atur peringatan: Terapkan peringatan dan notifikasi untuk memberi tahu tim Anda secara proaktif terkait kegagalan pipeline atau masalah performa. Gunakan alat seperti Azure Monitor untuk mengonfigurasi peringatan kustom berdasarkan jenis error tertentu atau keterlambatan eksekusi, sehingga resolusi cepat dan downtime minimal.

Lalu, apa bedanya Azure Data Factory dibandingkan Databricks? Jika Anda penasaran dan ingin mengetahui perbedaannya, lihat Azure Data Factory vs Databricks: A Detailed Comparison blog.

Azure Data Factory vs. Microsoft Fabric

Saat Anda menguasai Azure Data Factory, penting untuk memahami evolusinya: Microsoft Fabric.

Meskipun Azure Data Factory (ADF) tetap menjadi solusi PaaS (Platform-as-a-Service) yang andal dan banyak digunakan di perusahaan, Microsoft telah memperkenalkan Fabric sebagai masa depan ekosistem datanya. Fabric adalah platform SaaS serba ada yang menyatukan Data Factory, Synapse Analytics, dan Power BI dalam satu lingkungan.

Haruskah Anda menggunakan ADF atau Fabric?

• Tetap gunakan ADF jika: Anda memerlukan solusi PaaS yang matang dan sangat dapat dikustomisasi dengan integrasi mendalam ke sistem on-premises lama, atau jika Anda memerlukan kontrol granular atas infrastruktur (seperti Integration Runtime khusus).
• Pertimbangkan Fabric jika: Anda sedang membangun platform data modern baru dan menginginkan pengalaman terpadu di mana rekayasa data, data warehousing, dan visualisasi Power BI terjadi dalam satu workspace tanpa memindahkan data (berkat OneLake).

Catatan: Pipeline ADF dan pipeline Fabric Data Factory sangat mirip, sehingga keterampilan yang Anda pelajari di ADF hari ini langsung dapat diterapkan di Fabric. Anda dapat mengikuti kursus Introduction to Microsoft Fabric kami untuk mempelajari lebih lanjut. 

Kesimpulan

Azure Data Factory menyederhanakan proses membangun, mengelola, dan menskalakan pipeline data di cloud. Platform ini menyediakan antarmuka yang intuitif bagi pengguna teknis maupun non-teknis, sehingga mereka dapat mengintegrasikan dan mentransformasi data dari berbagai sumber secara efisien. 

Dengan memanfaatkan fiturnya, seperti pembuatan pipeline tanpa kode, kemampuan integrasi, dan alat pemantauan, pengguna dapat dengan mudah membuat alur kerja yang skalabel dan andal.

Untuk mempelajari lebih lanjut tentang Azure Data Factory, saya merekomendasikan untuk melihat Top 27 Azure Data Factory Interview Questions and Answers.

Jika Anda ingin menjelajahi tulang punggung Azure, termasuk topik seperti container, virtual machine, dan lainnya, rekomendasi saya adalah kursus gratis yang luar biasa ini: Understanding Microsoft Azure Architecture and Services.