Bagaimana 8×8 menghemat dan meningkatkan kinerja sebesar 30% dengan mengadopsi amp – Beragampengetahuan

tantangan – Pada tahun 2020, permintaan untuk layanan konferensi video terenkripsi 8×8 tumbuh secara eksponensial selama pandemi Covid -19 – melonjak dari 20 server virtual menjadi 8.000 dalam beberapa minggu. Meskipun router video 8×8 berfungsi cukup sederhana untuk dijelaskan, itu sebenarnya CPU-intensif.

Meningkatkan sistem ini berarti menggunakan lebih banyak server di cloud. Server 8×8 menderita melalui jumlah kemacetan kinerja jaringan yang sama dalam beberapa jam, dan insinyur mereka berharap untuk menanganinya selama setahun penuh.

“Biasanya, ketika ada yang salah, mesin menjadi kewalahan, memiliki terlalu banyak permintaan untuk CPU, dan tidak memiliki cukup banyak pekerjaan untuk mengeluarkan paket dari antrian,” jelas Emil Ivov dari 8×8. Hasil dari masalah ini adalah bahwa ia meningkatkan periode inkubasi, pengguna menjadi terlihat, dan lebih mendesak meningkatkan peningkatan besar dalam biaya layanan cloud.

Larutan – Untuk mengurangi biaya, 8×8 berinvestasi di Oracle Cloud Infrastructure (OCI). OCI menawarkan 8×8 instance OCI ARM64 yang lebih murah yang ditenagai oleh Ampere® Altra® CPU. Hampir tidak ada waktu untuk mengambil waktu sejenak, 8×8 membuat perjudian dan mulai refactoring Jitsi untuk pindah ke Arsitektur Mikro64 – sebuah langkah yang akan sulit dan dikendarai oleh peristiwa. Sebagian besar kode kunci Jitsi ditulis dalam Java, membutuhkan antarmuka JNI ke pustaka enkripsi kode mesin dan perpustakaan lain yang perlu dikompilasi ulang.

Untungnya, semua kode jitsi untuk 8×8 telah memindahkannya ke pekerjaan minimum yang diperlukan untuk ARM64 karena perpustakaan ARM64 yang ada. Selain itu, skrip otomatisasi yang digunakan untuk memulai instance mesin virtual baru harus disesuaikan kembali untuk instance ARM64 – sama dengan beberapa hari.

hasil – Setelah pindah ke instance ARM64 berbasis AMP, 8×8 mencapai tujuan pertemuan Jitsi atau P95 lebih dari 1 ms. Ini berarti bahwa kinerja harian harus membuat transaksi paket mengkonsumsi kurang dari satu milidetik dan 5 milidetik P99.

Dari sudut pandang biaya, setiap contoh dari instance OCI ARM64 lebih murah 30% dari yang digunakan sebelumnya. Yang paling penting, menurut Ivov, kinerja instance ARM64 berdasarkan Ampere adalah 30%. Dibandingkan dengan sebelum migrasi, setiap instance Ampere memiliki 20-30% lebih banyak beban kerja, ukuran yang sama. “Menggunakan instance Ampere tidak melekat padanya. Mereka selalu menjadi pilihan pertama yang kita lihat,” kata Iwof.

Kisah Pengembang

Salah satu proyek telekomunikasi open source terbesar di dunia telah mengalihkan layanannya ke instance ARM64 bertenaga Ampere pada OCI setelah Covid menambahkan permintaan ekstrem ekstrem untuk alat komunikasi online. Keputusannya adalah membayar banyak dividen.

Pada tahun 2020, penyedia solusi konferensi video 8×8 mengalami lonjakan lalu lintas yang sangat besar dalam layanan komunikasi video terenkripsi ketika Covid-19 mengubah budaya kerja globalnya.

Sebelum pandemi dimulai, router video untuk layanan konferensi video 8×8 berjalan di 20 server virtual. Satu minggu kemudian, mereka mengkonsumsi 80 contoh. Enam minggu kemudian, jumlah itu meningkat menjadi 8.000. Dengan inti dari ekonomi global, 8×8 tiba -tiba menemukan bahwa itu adalah tulang punggung telekomunikasi global.

Di jantung layanan konferensi video 8×8 adalah proyek open source yang dibangun di atas perancah SIP Communicator, sebuah proyek mahasiswa Universitas Strasbourg. Setelah itu, itu disusun kembali sebagai Jitsi setelah frasa Bulgaria “kawat”. Jitsi sekarang menyerap sumber daya komputasi awan energi yang cukup untuk memberi daya pada kota kecil.

Anatomi yang berlebihan

Meskipun router video 8×8 berfungsi cukup sederhana untuk dijelaskan, itu sebenarnya CPU-intensif. Seperti switchboard telepon, server membaca paket dari satu outlet, mendekripsi, mengenkripsi mereka lagi, dan kemudian menyalin paket terenkripsi ke outlet lain yang akan diteruskan. Meningkatkan sistem ini berarti menggunakan lebih banyak server di cloud. Setidaknya di awal, ini sepertinya rencana skalabilitas yang cukup sederhana.

“Setiap minggu, kami menggandakan infrastrukturnya [to host Jitsi]”Kata Emil Ivov, Pencipta dan Wakil Presiden Produk di Jitsi.” Gila betapa cepatnya hal -hal tumbuh ketika semuanya berlipat ganda. “

Server 8×8 menderita melalui jumlah kemacetan kinerja jaringan yang sama dalam beberapa jam, dan insinyur mereka berharap untuk menanganinya selama setahun penuh. Ivov menyamakan perasaannya dengan perasaan yang dia temukan di film pertempuran kapal selam, di mana semua tuduhan kedalaman muncul segera dan semua katup di jembatan di kapal mulai meledak dan menyemprotkan.

“Biasanya, ketika terjadi kesalahan, mesin menjadi kewalahan, memiliki terlalu banyak permintaan untuk CPU, dan tidak memiliki cukup banyak pekerjaan untuk mengeluarkan paket dari antrian,” jelas Iwof.

“Antrian ini akan tumbuh lebih lama. Paket -paketnya harus meninggalkan antrian, proses, memasukkan antrian dan dikirim. Kali ini meningkat, dan pengguna dapat melihat peningkatan waktu.

Pada saat itu itu adalah periode laten [and then] Paket hilang karena ketika Anda mulai mengirim terlalu banyak paket di jalan, Anda dapat membanjiri antrian berbagai perangkat yang mengarah ke perangkat akhir. Anda mungkin melihat video atau kebisingan yang buruk dalam audio, interupsi. Ini tidak hanya dalam bagan metrik, tetapi juga untuk pengguna. “

Setelah beberapa saat, penyeimbang beban haproxy akan menemukan kebuntuan delegasi utas. Kemudian, karena Haproxy bergantung pada syslog untuk menghasilkan log alih -alih menulis file log untuk itu, sistem log akan kelebihan beban.

Tetapi tantangan teknis bahkan bukan masalah terbesar. “Ini telah menyebabkan tantangan keuangan yang sangat besar. RUU kami telah menambahkan dua pesanan besar menjadi jutaan dolar sebulan.”

Pengembalian poin persentase ke -99

8×8 perlu segera mengurangi biayanya. Pertama, ia berinvestasi di Oracle Cloud Infrastructure (OCI). Selanjutnya, pengembangnya mengusulkan optimisasi yang memungkinkan beban kerja untuk mengkonsumsi lebih sedikit contoh server OCI. Setelah ini, Oracle mendekati pesan 8×8, yang meluncurkan instance OCI ARM64 yang lebih murah di -boot oleh Ampere® Altra® CPU.

Ada sedikit waktu untuk mengambil waktu sejenak, 8×8 membuat pertaruhan dan mulai refactor Jitsi untuk pindah ke mikrostruktur yang sama sekali berbeda – sebuah langkah yang ditakuti akan sulit dan dikendarai oleh peristiwa. Sebagian besar kode kunci Jitsi ditulis dalam Java, membutuhkan antarmuka JNI ke pustaka enkripsi kode mesin dan perpustakaan lain yang perlu dikompilasi ulang. Namun, perpustakaan itu sendiri sudah memiliki versi ARM64.

“Ini adalah bangunan yang sangat mendukung,” kata Ivov 8×8. “Setiap proyek yang bermakna sudah memiliki pendekatan biner untuk ARM64, jadi kami tidak pernah memiliki masalah.”

Menurut perkiraan IVOV, setiap contoh dari contoh OCI ARM64 adalah 30% lebih rendah dari kasus yang digunakan sebelumnya. Yang paling penting, menurut Ivov, kinerja instance ARM64 berdasarkan Ampere adalah 30%. Dibandingkan dengan sebelum migrasi, setiap instance Ampere memiliki 20-30% lebih banyak beban kerja, ukuran yang sama.

Dengan menumpuk waktu respons dari semua transaksi bersama -sama, menumpuknya bersama dalam bagan, latensi dapat diukur dalam jaringan telekomunikasi. Ukuran yang mencerminkan nilai latensi rata -rata yang diharapkan dari poin persentase ke -95 dalam semua transaksi disebut P95 dan sebaiknya sangat rendah.

Pada persentil ke -99 (P99), estimasi latensi rata -rata diperkirakan lebih tinggi, karena 4% dari transaksi antara persentil ke -95 dan persentil ke -99 mungkin termasuk transaksi yang lebih lambat. Setelah pindah ke instance ARM64 berbasis AMP, 8×8 mencapai tujuan pertemuan JITSI atau P95 lebih dari 1 ms. Ini berarti bahwa kinerja harian harus membuat transaksi paket mengkonsumsi kurang dari satu milidetik dan 5 milidetik P99.

Memindahkan semua jitsi ke ARM64 membutuhkan pekerjaan minimum dari pengembangnya, yang semuanya dilakukan dalam satu hari. Selain itu, skrip otomatisasi yang digunakan untuk memulai instance mesin virtual baru harus disesuaikan kembali untuk instance ARM64 – sama dengan beberapa hari. Insinyur Jitsi melaporkan bahwa tidak ada masalah serius yang beradaptasi dengan alat pemantauan yang ada, yang digunakan untuk mengumpulkan metrik kinerja ARM64, dan tidak ada konfigurasi ulang platform orkestrasi.

Biaya rendah, Mudah menang

8×8 Emil Ivov mengakui bahwa ia dan timnya bingung dengan apa yang mereka pikir akan dari x86 ke eksodus Ampere. Akankah Jitsi menderita hit kinerja? Akankah biaya mengurangi hits ini melebihi penghematan yang mereka dapatkan dari berjalan pada platform berbiaya rendah? Akankah 8×8 menemukan dirinya memisahkan tengah, dan platform komunikasi benar -benar berbeda dari hosting platform CX?

“Awalnya, saya berpikir, ‘Ah, Gush, siapa yang tahu apa masalah eksotis,'” kata Iwov, “dan hal -hal yang tidak ada di gedung Yayasan ARM64 ini tidak ada di sana. Saya takut, itu tidak terduga.”

Yang mengejutkan mereka, seluruh perjalanan untuk bermigrasi Jitsi dari x86 ke ARM64 menggunakan OCI berbasis Ampere hanya membutuhkan waktu dua minggu. Langkah selanjutnya adalah transisi dari transfer angsuran ke produksi, dengan hasil melebihi harapan semua orang.

“Kami menyalakannya, dan sekitar 20% hingga 30% mesin yang lebih murah memberi kami 20% hingga 30% kinerja,” kata Ivov. Ketika ditanya tentang rencana 8×8 untuk memindahkan platform lain ke Rencana Ampere dan OCI, Ivov menyatakannya cara termudah untuk menguranginya. “Tidak ada keheningan untuk mengadopsi contoh Ampere,” katanya. “Mereka selalu menjadi pilihan pertama yang kita lihat.”