Jebakan dan realitas penggunaan AI generatif dalam alur kerja analitik – Beragampengetahuan

Selama beberapa bulan terakhir, kami telah mendengar banyak tentang bagaimana kecerdasan buatan generatif akan mengubah pemasaran digital. Sebagai konsultan, kami bekerja dengan merek untuk memanfaatkan teknologi untuk pemasaran yang inovatif. Kami dengan cepat menyelidiki potensi ChatGPT, chatbot berbasis model bahasa berskala besar yang paling banyak dibicarakan di blok tersebut. Kami sekarang melihat bagaimana AI generatif dapat bertindak sebagai asisten dengan membuat draf awal kode dan visualisasi yang disaring oleh pakar kami menjadi materi yang dapat digunakan.

Menurut pendapat kami, kunci keberhasilan proyek AI generatif adalah memberikan harapan yang jelas kepada pengguna akhir untuk hasil akhir, sehingga setiap materi yang dihasilkan AI dapat diedit dan dibentuk. Prinsip pertama menggunakan AI generatif adalah Anda tidak boleh memercayainya untuk memberikan jawaban yang tepat untuk pertanyaan Anda.

ChatGPT hanya menjawab 12 dari 42 pertanyaan GA4 dengan benar

Kami memutuskan untuk menguji ChatGPT pada sesuatu yang sering dilakukan oleh konsultan kami – jawab pertanyaan umum klien di GA4. Hasilnya tidak terlalu mengesankan: dari 42 pertanyaan yang kami ajukan, ChatGPT hanya memberikan 12 jawaban yang kami anggap dapat diterima untuk dikirim ke klien, dengan tingkat keberhasilan hanya 29%.

Delapan jawaban lainnya (19%) “sebagian benar”. Ini salah memahami pertanyaan dan memberikan jawaban berbeda untuk apa yang ditanyakan (meskipun secara faktual benar), atau memiliki sedikit informasi yang salah dalam jawaban yang benar.

Misalnya, ChatGPT memberi tahu kami bahwa baris “Lainnya” yang Anda temukan di beberapa laporan GA4 adalah pengelompokan dari banyak baris data bervolume rendah (dengan benar), tetapi contoh terjadinya hal ini ditentukan oleh “Algoritme Pembelajaran Mesin Google”. Ini tidak benar. Ada aturan standar untuk mendefinisikannya.

Menggali Lebih Dalam: Kecerdasan Buatan: Panduan Pemula

Keterbatasan Pengetahuan ChatGPT – Terlalu percaya diri

Sisa 52% jawaban sebenarnya salah dan dalam beberapa kasus menyesatkan. Alasan paling umum adalah karena ChatGPT tidak menggunakan data pelatihan mulai tahun 2021 dan seterusnya, sehingga banyak pembaruan terkini tidak dipertimbangkan dalam jawabannya.

Misalnya, Google tidak secara resmi mengumumkan penghentian Universal Analytics hingga 2022, sehingga ChatGPT tidak dapat mengatakan kapan. Dalam hal ini, bot memberikan jawaban, setidaknya dalam hal ini, dimulai dengan “… setahu saya batas waktunya adalah 2021…”

Namun, beberapa pertanyaan yang tersisa dijawab dengan tidak benar dengan rasa percaya diri yang mengkhawatirkan. Misalnya, bot memberi tahu kita bahwa “GA4 menggunakan pendekatan berbasis pembelajaran mesin untuk melacak peristiwa dan dapat secara otomatis mengidentifikasi peristiwa pembelian berdasarkan data yang dikumpulkannya.”

Meskipun GA4 memang memiliki peristiwa “pengukuran yang diperbesar” yang dilacak secara otomatis, peristiwa ini biasanya ditentukan dengan mendengarkan kode sederhana di metadata halaman web, bukan dengan pembelajaran mesin atau model statistik apa pun. Selain itu, peristiwa pembelian tentu saja berada di luar cakupan pengukuran yang disempurnakan.

Seperti yang ditunjukkan dalam pengujian GA4 kami, “pengetahuan” terbatas yang disimpan di ChatGPT menjadikannya sumber kebenaran yang tidak dapat diandalkan. Tapi itu masih merupakan asisten yang sangat efisien, memberikan analisis dan draf kode pertama kepada para ahli untuk mengurangi waktu yang diperlukan untuk tugas.

Itu tidak dapat menggantikan peran seorang analis berpengetahuan yang mengetahui jenis keluaran yang mereka harapkan. Alih-alih, waktu dapat dihemat dengan menginstruksikan ChatGPT untuk membuat analisis dari data sampel tanpa pemrograman ekstensif. Dari sini, Anda bisa mendapatkan perkiraan dalam hitungan detik dan menginstruksikan ChatGPT untuk memodifikasi keluarannya atau melakukannya sendiri.

Misalnya, baru-baru ini kami menggunakan ChatGPT untuk menganalisis dan mengoptimalkan keranjang belanja retailer. Kami ingin menganalisis ukuran rata-rata keranjang belanja dan memahami ukuran terbaik untuk menawarkan pengiriman gratis kepada pelanggan kami. Hal ini membutuhkan analisis rutin terhadap distribusi pendapatan dan keuntungan serta memahami perubahan dari waktu ke waktu.

Kami menginstruksikan ChatGPT untuk menggunakan kumpulan data GA4 untuk melihat perubahan ukuran keranjang selama 14 bulan. Kami kemudian menyarankan beberapa kueri SQL awal untuk analisis lebih lanjut di BigQuery dan menyarankan beberapa opsi visualisasi data untuk mendapatkan wawasan tentang temuan mereka.

Meskipun opsi ini tidak sempurna, opsi ini memberikan area yang berguna untuk eksplorasi lebih lanjut. Analis kami menyetel kueri ChatGPT untuk menyelesaikan hasilnya. Hal ini mengurangi waktu yang dibutuhkan analis senior untuk bekerja dengan staf pendukung junior untuk menghasilkan keluaran dari sekitar tiga hari menjadi satu hari.

Menggali Lebih Dalam: 3 Langkah Agar AI Bekerja untuk Anda

Otomatiskan tugas manual dan hemat waktu

Contoh lain adalah menggunakannya untuk mengotomatiskan lebih banyak tugas manual dalam proses tertentu, seperti melakukan pemeriksaan jaminan kualitas pada tabel data atau potongan kode yang sudah dihasilkan. Ini adalah aspek inti dari proyek apa pun, dan menandai perbedaan atau pengecualian sering kali melelahkan.

Namun, menggunakan ChatGPT untuk memverifikasi 500+ baris kode untuk menggabungkan dan memproses beberapa set data (memastikannya bebas dari kesalahan) dapat menghemat banyak waktu. Dalam hal ini, apa yang biasanya memakan waktu dua jam untuk tinjauan manusia sekarang dapat diselesaikan dalam 30 menit.

Pemeriksaan QA terakhir masih perlu dilakukan oleh para ahli, dan kualitas keluaran ChatGPT akan sangat bergantung pada parameter persis yang Anda tetapkan dalam instruksi Anda. Namun, tugas dengan parameter yang terdefinisi dengan sangat baik dan tidak ada ambiguitas dalam keluaran (angka cocok atau tidak cocok) sangat cocok untuk AI generatif untuk melakukan sebagian besar pekerjaan berat.

Perlakukan AI generatif seperti asisten, bukan ahli

Kemajuan yang dibuat ChatGPT dalam beberapa bulan terakhir sangat mengesankan. Singkatnya, kami sekarang dapat menggunakan bahasa Inggris percakapan untuk meminta materi berteknologi tinggi yang tersedia untuk berbagai tugas terluas seperti pemrograman, komunikasi, dan visualisasi.

Seperti yang telah kami tunjukkan di atas, hasil dari alat ini membutuhkan penanganan yang cermat dan penilaian ahli untuk membuatnya berharga. Kasus penggunaan yang bagus adalah untuk meningkatkan efisiensi pembuatan analitik dalam pekerjaan kita sehari-hari, atau untuk mempercepat tugas yang panjang dan rumit yang biasanya perlu dilakukan secara manual. Kami mendekati keluaran dengan skeptisisme dan menggunakan pengetahuan teknis kami untuk mengasahnya menjadi materi bernilai tambah bagi klien kami.

Meskipun AI generatif, yang dicontohkan oleh ChatGPT, menunjukkan potensi besar untuk merevolusi setiap aspek alur kerja digital kami, sangat penting untuk mendekati penerapannya dengan perspektif yang seimbang. Ada batasan akurasi, terutama yang berkaitan dengan pembaruan terkini dan detail kecil.

Namun, seiring dengan semakin matangnya teknologi, potensi AI untuk digunakan sebagai alat untuk meningkatkan kemampuan kita dan meningkatkan efisiensi pekerjaan kita sehari-hari akan meningkat. Saya pikir kita harus lebih fokus pada AI generatif yang menggantikan para ahli dan lebih pada bagaimana hal itu dapat meningkatkan produktivitas kita.