Akamai meluncurkan platform inferensi Akamai Cloud Inference untuk mendorong inovasi AI yang lebih cepat dan efisien.
Berjalan di Akamai Cloud, solusi inferensi (inference) terbaru ini dirancang untuk mengatasi berbagai keterbatasan yang terus meningkat dalam model cloud terpusat.
“Mendekatkan data AI ke pengguna dan perangkat itu sulit, dan di situlah tantangan yang dihadapi platform cloud lama,” ujar Adam Karon, Chief Operating Officer dan General Manager, Cloud Technology Group di Akamai .
Model AI besar umumnya dijalankan di pusat data hyperscale yang jauh dari pengguna akhir, sehingga memicu latensi tinggi dan membengkaknya biaya operasional. Arsitektur yang terpusat juga berpotensi menghambat kemampuan auto-scaling di berbagai lokasi. Akibatnya, kebutuhan real-time untuk beban kerja yang intensif menggunakan data menjadi tidak terpenuhi.
Tawarkan Latensi & Biaya Lebih Rendah
Akamai Cloud Inference dijanjikan memberikan throughput hingga 3× lebih tinggi serta mengurangi latensi hingga 2,5× dibanding infrastruktur hyperscale tradisional, sekaligus memungkinkan penghematan biaya hingga 86% untuk inferensi AI dan beban kerja AI agentik.
Akamai Cloud Inference mencakup:
Komputasi: Mendukung CPU klasik, GPU NVIDIA (dengan Triton, TAO Toolkit, TensorRT, NVFlare), hingga VPU ASIC untuk beragam kebutuhan inferensi .
Manajemen data: Fabrik data kemitraan dengan VAST Data, penyimpanan objek skala besar, serta integrasi database vektor (Aiven, Milvus) untuk mendukung Retrieval-Augmented Generation (RAG).
Kontainerisasi: Orkestrasi berbasis Kubernetes (Linode Kubernetes Engine-Enterprise, Akamai App Platform) yang mengintegrasikan KServe, Kubeflow, dan SpinKube untuk auto-scaling dan portabilitas hybrid/multicloud.
Komputasi edge: Inferensi langsung di browser dan perangkat mobile via WebAssembly (WASM), bekerja sama dengan penyedia seperti Fermyon .
Dari Training ke Inferensi
| Penulis | : | Liana Threestayanti |
| Editor | : | Liana Threestayanti |
KOMENTAR