Akamai Mengumumkan peluncuran Akamai Cloud Inference, solusi baru yang menyediakan alat untuk pengembang untuk membuat dan menjalankan aplikasi AI di tepi.

Menurut Akamai, membawa beban kerja lebih dekat ke pengguna akhir dengan alat ini dapat menyebabkan kecepatan 3x yang lebih baik dan mengurangi latensi hingga 2,5x.

“Pelatihan LLM seperti membuat kartu, memaksa Anda untuk mengumpulkan data, untuk menganalisis lapangan dan untuk konspirasi rute,” kata Adam Karon, Kepala Pertanian dan Manajer Umum Grup Teknologi Cloud di Akamai. “Ini lambat dan lezat dalam sumber daya, tetapi setelah dibangun, sangat berguna. Inferensi AI seperti menggunakan GPS, langsung menerapkan pengetahuan ini, menghitung ulang secara real time dan beradaptasi dengan perubahan untuk memberi tahu Anda ke mana Anda harus pergi. Inferensi adalah perbatasan berikutnya untuk AI.”

Akamai Cloud Inference menawarkan berbagai jenis perhitungan, dari CPU konvensional ke GPU hingga VPU ASIC khusus. Dia menawarkan integrasi dengan ekosistem NVIDIA IA, mengambil keuntungan dari teknologi seperti Triton, Tao Toolkit, Tensorrt dan NVFlare.

Karena kemitraan dengan Data luasSolusi ini juga memberikan akses ke data waktu nyata sehingga pengembang dapat mempercepat tugas yang terkait dengan inferensi. Solusi ini juga menawarkan penyimpanan objek yang sangat terukur dan integrasi dengan pemasok database vektor seperti Aven Dan Milvus.

“Dengan baterai manajemen data ini, Akamai dengan aman menyimpan data model dan artefak pelatihan untuk memberikan inferensi AI skala rendah pada skala global,” tulis perusahaan dalam iklannya.

Ini juga menawarkan kapasitas tungku beban kerja IA, yang penting untuk memungkinkan autoscalière berbasis sendiri, peningkatan ketahanan aplikasi dan portabilitas hibrida / multicloud.

Dan akhirnya, platform ini juga menyertakan peneliti WebA untuk menyederhanakan cara pengembang membuat aplikasi AI.

“Sementara pekerjaan berat pelatihan LLMS akan terus terjadi di pusat data hiperskal besar, pekerjaan inferensi yang dapat digunakan akan terjadi di tepi di mana platform yang telah dibangun Kamamai dalam dua setengah dekade terakhir akan menjadi vital bagi masa depan AI dan membedakan kami dari semua pemasok awan lainnya di pasar,” kata Karon.