Layanan Terkelola Apache Flink di AWS, yang ditawarkan melalui Amazon Kinesis Data Analytics untuk Apache Flink, memungkinkan pengembang menjalankan aplikasi pemrosesan aliran berbasis Flink tanpa kerumitan dalam mengelola infrastruktur yang mendasarinya. Layanan yang terkelola sepenuhnya ini menyederhanakan penerapan, penskalaan, dan pengoperasian jalur pemrosesan data real-time, memungkinkan pengguna untuk fokus pada pembuatan aplikasi daripada mengonfigurasi dan memelihara cluster. Dengan integrasi yang lancar ke dalam layanan AWS seperti Kinesis dan S3, ia menawarkan penskalaan otomatis, pemantauan, dan toleransi kesalahan, menjadikannya ideal untuk analisis waktu nyata, aplikasi berbasis data, dan pemrosesan data skala besar di cloud.

Panduan ini menjelaskan cara menggunakan dasbor Apache Flink untuk memantau dan mengelola aplikasi pemrosesan data real-time dalam layanan terkelola AWS, memastikan pemrosesan aliran yang efisien dan andal.

Dasbor Apache Flink

Dasbor Apache Flink menyediakan antarmuka intuitif untuk mengelola layanan data real-time di AWS, memungkinkan pengembang memantau, men-debug, dan mengoptimalkan aplikasi Flink secara efektif. Layanan yang dikelola AWS, seperti analitik data Amazon Kinesis, memanfaatkan informasi dasbor mengenai status pekerjaan, kinerja pekerjaan, dan pemanfaatan sumber daya, membantu pengembang memantau aliran data secara langsung dan menilai status tugas melalui metrik seperti throughput, latensi, dan tingkat kesalahan.

Dasbor Flink memfasilitasi proses debug dan pemecahan masalah secara real-time dengan menyediakan akses ke log dan metrik pelaksanaan tugas. Visibilitas ini penting untuk mengidentifikasi hambatan dan kesalahan kinerja, memastikan ketersediaan tinggi dan latensi rendah untuk layanan pemrosesan data real-time yang dikelola oleh AWS. Secara keseluruhan, dasbor memberikan transparansi yang dibutuhkan pengguna untuk menjaga kesehatan dan efisiensi layanan ini.

Akses dasbor Apache Flink

Untuk mulai memantau aplikasi Flink, navigasikan ke dasbor Apache Flink, yang memberikan wawasan waktu nyata mengenai kinerja dan status pekerjaan.

Contoh kode

Pertimbangkan cuplikan kode berikut di mana aplikasi Apache Flink memproses streaming data dari Amazon Kinesis menggunakan Flink Data Stream API:

DataStream dataStream = env.addSource(new FlinkKinesisConsumer<>(
       INPUT_STREAM_NAME,
       new SimpleStringSchema(),
       setupInputStreamProperties(streamRole, streamRegion))
);

SingleOutputStreamOperator>>> result = dataStream
       .map(Application::toRequestEventTuple)
       .returns(Types.TUPLE(Types.LIST(Types.STRING), Types.LIST(Types.STRING), Types.LIST(Types.INT)))
       .windowAll(TumblingProcessingTimeWindows.of(Time.minutes(5)))
       .aggregate(new EventObservationAggregator());

REGIONS.forEach(region -> {
   result.flatMap(new CountErrorsForRegion(region)).name("CountErrors(" + region + ")");
   result.flatMap(new CountFaultsForRegion(region)).name("CountFaults(" + region + ")");
});

env.execute("Kinesis Analytics Application Job");

Aplikasi Apache Flink ini memproses data real-time dari aliran Amazon Kinesis menggunakan Flink Data Stream API. Lingkungan waktu proses ditetapkan, mengambil properti khusus AWS seperti ARN peran dan wilayah untuk mengakses umpan Kinesis. Aliran data dikonsumsi dan dideserialisasi sebagai string, yang kemudian dipetakan ke dalam tupel untuk diproses lebih lanjut. Aplikasi ini menggunakan jendela 5 menit bergantian untuk mengelompokkan peristiwa, menerapkan fungsi khusus untuk menghitung kesalahan dan kesalahan untuk berbagai Wilayah AWS. Tugas ini berjalan terus-menerus, memproses dan menganalisis data real-time dari Kinesis untuk memastikan pelacakan kesalahan dan pemadaman yang dapat diskalakan dan spesifik wilayah.

Ringkasan

• Sumber: Membaca data dari aliran Kinesis, menggunakan konsumen Flink Kinesis dengan wilayah dan peran tertentu
• Transformasi: Data diubah menjadi tupel dan dikumpulkan dalam jendela 5 menit.
• Penghitungan: Kesalahan dan cacat dihitung untuk setiap wilayah AWS.
• Eksekusi: Tugas berjalan tanpa batas waktu, memproses data secara real-time saat mengalir dari Kinesis.

Bagan Tugas

Grafik tugas di dasbor Flink secara visual mewakili pelaksanaan tugas Apache Flink, menyoroti aliran pemrosesan data di berbagai wilayah sambil melacak kesalahan dan pemadaman.

Penjelasan

1. Sumber: Sumber Khusus -> Peta: Komponen awal adalah sumber, tempat data diserap dari Amazon Kinesis. Sumber khusus memproses data secara paralel dengan dua tugas (seperti yang Anda lihat pada gambar Paralelisme: 2).
2. Jendela pemicu (TumblingProcessingTimeWindows): Langkah selanjutnya berlaku a TumblingWindow dengan waktu pengerjaan 5 menit; yaitu mengelompokkan data masuk ke dalam interval 5 menit untuk pemrosesan batch data streaming. Fungsi agregasi menggabungkan data di setiap jendela (diwakili oleh AllWindowedStream.aggregate()) dengan Paralelisme: 1 menunjukkan satu tugas yang melakukan agregasi ini.
3. pengobatan daerah (CountErrors/CountFaults): Setelah agregasi jendela, data diseimbangkan kembali dan didistribusikan di antara tugas-tugas yang bertanggung jawab untuk memproses wilayah berbeda. Setiap wilayah memiliki dua tugas yang bertanggung jawab untuk menghitung kesalahan dan cacat, masing-masing beroperasi secara paralel: 2, memastikan pemrosesan data secara bersamaan dari setiap wilayah.

Ringkasan

Data berasal dari sumber khusus, dipetakan dan dikumpulkan dalam jangka waktu 5 menit bergantian, dan diproses untuk menghitung kesalahan dan cacat di berbagai wilayah. Pemrosesan paralel di setiap wilayah memastikan pengelolaan data yang efisien yang dialirkan secara real-time di seluruh wilayah, seperti yang ditunjukkan dalam diagram.

Informasi aliran data operator/tugas

Dasbor memberikan gambaran singkat tentang aliran data dalam pekerjaan Flink, menunjukkan status pemrosesan dan volume data di setiap tahap. Ini menampilkan informasi tentang berbagai operator atau tugas dalam pekerjaan Flink. Berikut adalah ikhtisar dari apa yang ditunjukkan tabel tersebut:

• Nama: Mencantumkan operator atau langkah pemrosesan dalam tugas Flink, seperti “Source: Custom Source -> Map” “TriggerWindow“dan lain-lain”CountErrors” Dan “CountFaults” untuk berbagai wilayah
• Status: Ini menampilkan status tugas. Semua operator yang terdaftar ada di “RUNNING” status dengan label hijau.
• Byte diterima: Menampilkan jumlah data yang diterima masing-masing operator; misalnya, “TriggerWindow” operator menerima data 31,6 MB
• File diterima: Menunjukkan jumlah record yang diproses oleh masing-masing operator, selalu dengan tanda “TriggerWindow” operator terkemuka (148.302)
• Byte terkirim: Menampilkan jumlah data yang dikirim oleh masing-masing operator; misalnya: “Source: Custom Source -> Map” mengirim paling banyak (31,6 MB)
• Rekaman terkirim: Menampilkan jumlah record yang dikirim oleh masing-masing operator, dengan tanda “Source: Custom Source -> Map” juga yang mengirim paling banyak (148.302)
• Tugas: Menunjukkan jumlah tugas paralel untuk setiap operator; semua tugas memiliki paralelisme 2 kecuali “TriggerWindow” operator memiliki 1 paralelisme.

Tampilan konfigurasi ini memberikan informasi tentang konfigurasi Flink Task Manager, yang mencakup perilaku cluster, opsi Java, dan penanganan pengecualian. Memahami dan kemungkinan menyesuaikan pengaturan ini sangat penting untuk mengoptimalkan perilaku lingkungan Flink.

Kesimpulan

Dalam panduan ini, kami menjelajahi beberapa tampilan utama dasbor Apache Flink yang meningkatkan pemahaman dan pengelolaan saluran data. Ini termasuk Grafik Pekerjaan, yang secara visual mewakili aliran pemrosesan data; Tabel Informasi Aliran Data Operator/Tugas, yang memberikan informasi rinci tentang aliran antara tugas dan operator; dan tab Konfigurasi, yang memberikan kontrol atas pengaturan manajer pekerjaan. Dasbor menyediakan banyak fitur tambahan yang membantu pengembang lebih memahami aplikasi Apache Flink mereka, sehingga memudahkan pemantauan, debug, dan mengoptimalkan alur pemrosesan data real-time dalam layanan terkelola AWS.