OpenAI Kenalkan LLMs GPT-4o Long Output, Lebih Canggih dari GPT-4o

Adam Rizal - Sabtu, 10 Agustus 2024 | 09:30 WIB

GPT-4o

OpenAI meluncurkan model Large Language Model (LLMs) atau bahasa besar terbarunya GPT-4o Long Output. Dalam situs resminya, GPT-4o Long Output adalah merupakan pengembangan dari GPT-4o yang pertama kali dirilis pada Mei 2024. Salah satu peningkatan utama pada GPT-4o Long Output adalah kemampuan menghasilkan hingga 64.000 token, atau 16 kali lebih banyak dari GPT-4o sebelumnya yang hanya mendukung 4.000 token.

Token adalah satuan yang digunakan untuk menghitung karakter atau kata yang diproses oleh model AI. Peningkatan jumlah token ini memungkinkan GPT-4o Long Output untuk memberikan jawaban yang lebih panjang dan komprehensif, berguna dalam berbagai aplikasi seperti pengeditan kode program.

Meski OpenAI tidak merinci alasan spesifik di balik peluncuran GPT-4o Long Output, juru bicara perusahaan menyebut bahwa model baru ini hadir sebagai respons atas permintaan pelanggan yang menginginkan konteks output yang lebih panjang. Selain perbedaan dalam jumlah token output, jendela konteks (context window) yang dapat diproses oleh GPT-4o Long Output tetap sama seperti GPT-4o, yaitu maksimum 128.000 token.

Jendela konteks itu mencakup total token input dan output dalam satu interaksi. Meskipun GPT-4o Long Output saat ini baru tersedia dalam versi Alpha untuk sekelompok pengguna terbatas, OpenAI berencana untuk mengevaluasi efektivitas model ini sebelum memutuskan untuk memperluas aksesnya seperti dikutip Venture Beat.

Sebelumnya, OpenAI telah meluncurkan GPT-4o, model AI terbaru yang dapat diakses secara gratis melalui ChatGPT. GPT-4o menawarkan interaksi yang lebih "hidup" dengan respons suara yang lebih natural, ekspresif, dan dapat menampilkan emosi seperti manusia. Model ini juga dapat memberikan feedback dan solusi secara real-time melalui interaksi suara, menjadikannya lebih mirip dengan percakapan manusia.

GPT-4o juga memiliki kemampuan untuk menerjemahkan bahasa secara langsung dan mendeskripsikan serta merangkum informasi dalam gambar. "O" pada GPT-4o merujuk pada "omni," yang berarti serba bisa, mencerminkan kemampuannya dalam memproses berbagai jenis konten, mulai dari teks, gambar, hingga suara. Model AI ini tersedia di ChatGPT, baik untuk versi gratis maupun berbayar (Plus dan Team).

Boros Listrik

Popularitas chatbot artificial intelligence (AI) atau kecerdasan buatan ChatGPT sedang naik daun, menyusul saat ini perusahaan teknologi di seluruh dunia berlomba-lomba mengembangkan AI. ChatGPT menggunakan model bahasa besar (LLM) GPT-4 yang lebih canggih dibandingkan pendahulunya GPT-3.5, dengan 1,7 triliun parameter pembelajaran, kemampuan multimodal, dan respons yang lebih ekspresif.

Sayangnya, pelatihan ChatGPT sangat boros listrik dan tidak ramah lingkungan. Towards Data Science melaporkan melatih model AI GPT-4 selama 90-100 hari membutuhkan listrik sekitar 62.000 MWh, setara dengan konsumsi energi 1.000 rumah tangga AS selama 5-6 tahun. Tak hanya itu, biaya pelatihan model ini diperkirakan mencapai 100 juta dolar AS.

Proses pelatihan GPT-4 menggunakan sekitar 25.000 GPU Nvidia A100, yang ditempatkan di 3.125 server, dengan masing-masing server memerlukan daya 6,5 kW. Jika server ini beroperasi penuh selama 90-100 hari, total konsumsi listrik akan mencapai antara 51.772 MWh hingga 57.525 MWh, atau setara dengan konsumsi energi tahunan 1.000 rumah tangga AS.

Peningkatan penggunaan server Microsoft Azure untuk melatih model AI seperti GPT-4 juga menyebabkan lonjakan konsumsi listrik Microsoft, yang meningkat dari 11 TWh pada 2020 menjadi 24 TWh pada 2023, lebih besar dari konsumsi listrik tahunan Yordania. Lonjakan ini juga disertai dengan peningkatan emisi karbon Microsoft sebesar 42 persen, yang diperkirakan terkait dengan pelatihan dan pengoperasian model AI tersebut.

Bikin Bangkrut

OpenAI berada di ambang kehancuran dengan kerugian mencapai USD5 miliar, menurut analisis yang dilakukan oleh The Information yang mengacu pada informasi keuangan yang sebelumnya tidak diungkapkan. Hal itu berarti OpenAI menuju kebangkrutan dalam 12 bulan ke depan. Laporan itu menunjukkan OpenAI sangat boros dalam pengeluaran dibandingkan dengan rekan-rekannya di ruang AI generatif.

Biaya pelatihan dan inferensi OpenAI bisa mencapai USD7 miliar pada tahun ini, dengan tambahan USD1,5 miliar untuk pengeluaran staf (melalui X). Berbeda dengan Anthropic yang menghabiskan USD 2,7 miliar untuk melatih AI

Pengeluaran OpenAI telah menjadi topik pembicaraan berulang selama 18 bulan terakhir, dengan analisis industri menyoroti biaya yang tinggi terkait dengan pembangunan dan pemeliharaan layanan unggulannya seperti ChatGPT. Perkiraan menunjukkan biaya untuk menjaga ChatGPT tetap berjalan hampir USD700.000 ($694.444) sehari pada tahun 2023.

Sebaliknya, pendapatan OpenAI hanya sedikit di bawah USD 3,5 miliar, menciptakan margin yang berpotensi tidak dapat dipertahankan untuk perusahaan dan mendorong beberapa analis industri mempertanyakan seluruh model bisnisnya. OpenAI dilaporkan menerima akses diskon ke layanan cloud Microsoft Azure sebagai bagian dari hubungannya dengan raksasa teknologi tersebut.

Microsoft juga telah menginvestasikan miliaran dolar dalam startup ini selama dua tahun terakhir, meskipun demikian, kekhawatiran semakin meningkat mengenai kelangsungan jangka panjang perusahaan.

Penyebab Kerugian

Sementara masalah keuangan OpenAI berpusat pada biaya operasional yang sangat tinggi, pertanyaan mengenai situasinya saat ini muncul di tengah periode kekhawatiran yang lebih luas di industri AI. Semakin banyak pemangku kepentingan industri mulai mempertanyakan apakah ada pengembalian investasi (ROI) yang dapat dibuktikan dan menunjukkan kurangnya kasus penggunaan yang jelas.

Sebuah studi terbaru dari perusahaan perangkat lunak Ardoq menemukan bahwa ROI pada adopsi teknologi seperti AI generatif sering kali dianggap sebagai latihan "menebak-nebak" di antara pemimpin teknologi senior.

Penelitian ini menunjukkan adanya rasa sinisme yang meluas tentang manfaat teknologi seperti AI generatif, dengan hanya sepertiga organisasi yang mencapai pengembalian investasi yang nyata dalam 12 bulan pertama. Simon Bain, CEO Omnilndex, mengatakan kepada ITPro banyak pemimpin teknologi mulai mengakui kenyataan ini, mencatat bahwa pendekatan "serba bisa" AI telah gagal seperti dikutip Itpro.

"Sementara demo yang mencolok dan obrolan yang mengesankan awalnya menarik perhatian dan pengguna gratis, mereka tidak memberikan banyak (jika ada) solusi bisnis nyata. Oleh karena itu, orang-orang tidak melihat alasan untuk membayarnya," tambahnya.

Mark Rodseth, Wakil Presiden Teknologi, EMEA, di CI&T menggemakan komentar Couldwell tentang ROI, mencatat bahwa teknologi ini "masih perlu membuktikan nilainya." "Karena AI masih dalam tahap awal, membuktikan ROI bisa menjadi tantangan – baik kepada pemangku kepentingan eksternal maupun internal. Namun ini tidak berarti perusahaan harus berhenti merangkul AI," ujarnya.