Kelola aliran data real-time di saluran AI – Beragampengetahuan

Dalam sistem berbasis AI saat ini, data real-time sangatlah penting, bukan opsional. Streaming data real-time mulai memberikan dampak signifikan pada model kecerdasan buatan modern untuk aplikasi yang memerlukan pengambilan keputusan cepat. Namun, seiring dengan meningkatnya kompleksitas dan kecepatan aliran data, memastikan konsistensi data merupakan tantangan teknis yang signifikan. Bukan rahasia lagi bahwa model AI sangat bergantung pada data masukan yang digunakan untuk melatihnya. Kualitas data masukan sangat penting dan tidak boleh rusak atau mengandung kesalahan. Jika kualitas data masukan terganggu, keakuratan, keandalan, dan keadilan prediksi model mungkin akan terpengaruh secara signifikan.

Pernyataan di atas bersifat konkret ketika model AI sedang dikembangkan dan selanjutnya siap untuk mengenali pola dan membuat prediksi berdasarkan data masukan. Jika kita mengintegrasikan model AI terlatih yang dikembangkan dan diuji ini dengan jalur pemrosesan aliran data real-time, prediksi dapat dibuat secara instan. Streaming data real-time memainkan peran penting bagi model AI karena memungkinkan model tersebut memproses dan merespons data yang masuk, bukan hanya menggunakan kumpulan data tetap yang lama. Anda dapat membaca artikel saya sebelumnya di sini, “AI waktu nyata: Streaming data langsung dari Apache Kafka ke dasbor waktu nyata.“ Namun pertanyaan besarnya adalah, bagaimana kita memastikan bahwa data real-time dari berbagai sumber bebas dari kesalahan dan benar-benar bebas dari data buruk. Dengan menemukan pola dan data pelatihan, sistem AI mengambil keputusan. Jika data ini salah, tidak bersifat aditif, atau membingungkan, model mungkin memilih mode yang salah. Hal ini dapat menimbulkan penyimpangan output, penyimpangan terhadap target, bahkan risiko.

Namun, ketika aliran data menjadi lebih kompleks dan cepat, mengelola konsistensi data dan evolusi skema merupakan tantangan teknis yang sulit. Di sinilah registri skema berperan. Ini adalah lokasi pusat untuk semua definisi skema data dan oleh karena itu memainkan peran penting dalam menjaga integritas pipeline langsung, kompatibilitas antara berbagai aplikasi hilir (terpisah dari sumber aslinya), dan menangani kebutuhan skalabilitas dari pipeline yang sama.

Apa yang dilakukan Program Registry?

Registri skema sangat penting untuk tata kelola data dan konsistensi dalam platform streaming, memastikan bahwa pesan mengikuti struktur yang telah ditentukan sebelum dipublikasikan ke topik Apache Kafka. Dengan menggunakannya untuk memvalidasi setiap pesan masuk berdasarkan skema yang diketahui, registri membantu kami menghindari pengiriman data yang rusak, tidak valid, dan tidak kompatibel ke Kafka, yang dapat mengganggu pemrosesan hilir, menyebabkan kerusakan konsumen, atau membahayakan kualitas data. Ini menyimpan riwayat versi dan riwayat perubahan skema semua skema untuk aliran data terdaftar.

Sebelum membangun saluran data berbasis Kafka, kita perlu mendaftarkan atau menetapkan informasi skema tentang data yang tersedia pada titik sumber di registri skema. SchemaRegistry adalah lapisan penyimpanan skema terdistribusi yang memanfaatkan mekanisme penyimpanan dasar Kafka. Ini memberikan ID unik untuk setiap skema yang terdaftar. Saat produser mengirim pesan ke topik Kafka, produser hanya perlu mengatur ID skema untuk setiap kumpulan rekaman, bukan menambahkan seluruh informasi skema.

Di mana Registri Program Terintegrasi

Sebaiknya, kita dapat menggunakan Apache Kafka sebagai alat penyerapan data di seluruh ekosistem pemrosesan aliran, dan registri skema harus diintegrasikan di tempat data diproduksi. Selain itu, konsumen hilir terus mengonsumsi pesan/data dari topik Kafka dan kemudian mendorongnya ke mesin pemrosesan seperti Flink. Tentu saja, Flink-1.18.1 dapat langsung mengonsumsi pesan dari topik Kafka tanpa bergantung pada konsumen tambahan. Anda dapat membacanya di sini. Sebelum memasukkan aliran dari sumber ke topik Kafka, kita perlu mendaftarkan skema ke registri skema, yang berisi pengidentifikasi skema dalam payload pesan. Dengan pengidentifikasi ini, semua konsumen hilir mendapatkan skema yang benar dari registri skema terdaftar dan kemudian melakukan deserialisasi dan memvalidasi data yang masuk. Dengan melakukan hal ini, konsistensi skema akan terjamin, kompatibilitas mundur/maju diaktifkan, dan format data akan dapat berkembang dengan aman seiring waktu, sehingga mengurangi risiko kesalahan runtime karena data yang tidak kompatibel.

Registri skema mana yang akan digunakan

Registri skema adalah proses eksternal yang berjalan di server di luar kluster Apache Kafka dan pada dasarnya merupakan database skema. Ada beberapa jenis registri skema yang tersedia yang mendukung berbagai format serialisasi data seperti Avro, JSON, atau Protobuf. Ada yang bersifat cloud native dan memerlukan lisensi berlangganan, dan ada pula yang bersifat open source.

Registri Mode Konvergensi

Confluence Schema Registry adalah registri skema yang paling populer dan banyak digunakan. Dikembangkan oleh Confluence untuk digunakan dengan Apache Kafka. Dapat diterapkan untuk dijalankan sebagai layanan mandiri atau bersama Confluence Platform. Selain itu, REST API disediakan untuk mendaftarkan dan mengambil skema. Avro, Skema JSON, dan Protobuf adalah format data yang didukung. Ini tersedia di bawah lisensi Confluence Community serta lisensi Confluence Enterprise (berlangganan) dengan fitur-fitur canggih tambahan.

Registri Apicurio

Registri arsitektur cloud-native sumber terbuka yang dikembangkan oleh Red Hat. Apicurio Registry memiliki beberapa opsi penyimpanan dan kita dapat mengonfigurasinya untuk menyimpan data di sistem penyimpanan backend tergantung pada penggunaannya. Opsi penyimpanan termasuk Apache Kafka, PostgreSQL atau Microsoft SQL Server. Ini mendukung penambahan, penghapusan, dan pembaruan jenis artefak berikut:

• Buka API
• API asinkron
• GrafikQL
• Apache Avro
• penyangga protokol Google
• Skema JSON
• Arsitektur koneksi Kafka
• WSDL
• Skema XML (XSD)
• Registri Skema AWS Glue

Ini adalah registri arsitektur terkelola sepenuhnya yang disediakan oleh AWS dan terintegrasi erat dengan layanan AWS seperti Kinesis, MSK (Kafka Managed Streams), dan Lambda. Ini menampilkan registrasi dan evolusi pola otomatis. Selain itu, ini terintegrasi dengan tugas ETL dan layanan streaming AWS Glue. Registri pola ini dapat digunakan saat dijalankan sepenuhnya dalam AWS dan mencari tata kelola model terkelola tanpa server.

carapez

Registri Skema Karapace adalah alat sumber terbuka gratis yang berlisensi Apache 2.0. Karapace adalah pengganti satu-ke-satu untuk registri skema Confluence dan proksi REST Apache Kafka. Ini mendukung penyimpanan skema di repositori pusat yang dapat diakses klien untuk membuat serialisasi dan deserialisasi pesan. Mode ini juga menyimpan riwayat versinya sendiri dan dapat memeriksa kompatibilitas antara versinya masing-masing. Karapace mendukung format data Avro, Skema JSON, dan Protobuf.

Poin utama

Dalam pipeline kecerdasan buatan saat ini yang memerlukan penyerapan data berlatensi rendah dan inferensi real-time, pendaftar skema adalah elemen penting dalam memastikan konsistensi dan interoperabilitas di seluruh sistem yang terdistribusi secara besar-besaran. Dengan membalikkan pengetahuan produsen dan konsumen data melalui kontrak (skema) terpusat, registri memungkinkan validasi yang ketat, batasan kompatibilitas ke belakang, dan evolusi yang terkendali. Hal ini memastikan bahwa perubahan di bagian hulu tidak merusak konsumen di bagian hilir, yang merupakan salah satu properti terpenting dalam arsitektur streaming berdasarkan teknologi seperti Apache Kafka atau Flink.

Selain itu, registri skema memungkinkan kontrol versi, manajemen metadata, dan konektivitas ke alat—meningkatkan kemampuan observasi, pemantauan, dan keandalan operasional lapisan data. Ketika sistem AI semakin banyak mengambil keputusan secara real-time berdasarkan data streaming, pencatatan pola harus dianggap bukan hanya sebagai praktik terbaik tetapi juga sebagai prinsip desain inti untuk membangun infrastruktur pembelajaran mesin yang skalabel, toleran terhadap kesalahan, dan tingkat produksi.

Terima kasih telah membaca! Jika Anda menganggap artikel ini berharga, mohon pertimbangkan untuk menyukai dan membagikannya.