Amazon Web Services, Inc. (AWS), anak perusahaan Amazon.com, hari ini mengumumkan bahwa Technology Innovation Institute (TII), pusat penelitian ilmiah global terkemuka di Abu Dhabi, menjalankan model Falcon 40B open source dengan performa terbaiknya di AWS. Falcon 40B adalah large language model (LLM) dengan 40 miliar parameter yang disediakan di dalam lisensi Apache 2.0 dan berhasil menempati peringkat pertama dalam Open LLM Leaderboard Hugging Face, yang melacak, memberi penilaian, dan mengevaluasi LLM di berbagai tolok ukur untuk mengidentifikasi model-model dengan performa terbaik.
Pelanggan sekarang dapat menggunakan Falcon 40B dari Amazon SageMaker JumpStart, sebuah hub machine learning (ML) yang menawarkan model-model yang telah dilatih sebelumnya, memberikan akses terhadap keakuratan Falcon 40B yang mutakhir dan kinerja terdepan di industri tanpa harus membangun model mereka sendiri dari awal. Untuk memulai dengan Amazon SageMaker JumpStart, kunjungi https://aws.amazon.com/sagemaker/jumpstart.
LLM adalah bagian dari model machine learning (ML) yang berfokus pada bahasa yang dapat mendukung berbagai aplikasi AI generatif, mulai dari pemrosesan teks dan perangkuman hingga menjawab pertanyaan. Meskipun LLM memiliki potensi untuk merevolusi industri, proses membangun, melatih, dan menerapkan LLM dapat memakan waktu berminggu-minggu, bahkan berbulan-bulan, serta memakan biaya puluhan juta dolar, sehingga tidak terjangkau oleh banyak perusahaan.
Untuk mendorong kinerja yang lebih baik dan efisiensi biaya selama proses pengembangan, banyak pelanggan, termasuk Stability AI, AI 21 Labs, Hugging Face, dan LG AI mengandalkan Amazon SageMaker, layanan mesin ML end-to-end dari AWS, untuk membangun, melatih, dan menerapkan LLM mereka.
Itulah sebabnya TII beralih ke Amazon SageMaker untuk mengembangkan model Falcon 40B. Karena SageMaker adalah layanan yang dikelola sepenuhnya, TII dapat fokus pada pengembangan mekanisme pelatihan khusus dan pengoptimalan alih-alih mengelola infrastruktur ML. Untuk meminimalkan biaya pelatihan dan mengurangi waktu ke pangsa pasar, TII melakukan beberapa pengoptimalan, termasuk menulis perkalian matriks khusus, untuk mempercepat kecepatan pelatihan.
Selama proses pelatihan, AWS juga bekerja sama dengan TII untuk meningkatkan ketahanan dengan menggunakan SageMaker, memastikan bahwa pelatihan berjalan dengan lancar dan mengurangi gangguan yang membutuhkan penanganan dari developer.
Pada bulan Mei 2023, TII merilis Falcon 40B di bawah lisensi Apache 2.0. Sejak dirilis, Falcon 40B telah mengungguli model terkini yang serupa di berbagai tolok ukur, menunjukkan kinerja luar biasa tanpa penyesuaian khusus. Untuk memudahkan pelanggan mengakses model terbaru ini, AWS juga telah menyediakan Falcon 40B bagi pelanggan melalui Amazon SageMaker Jumpstart.
Kini, beragam pelanggan dari berbagai industri dapat dengan cepat dan mudah menggunakan model Falcon 40B mereka sendiri dan menyesuaikannya agar sesuai dengan kebutuhan spesifik mereka untuk aplikasi seperti penerjemahan, menjawab pertanyaan, meringkas informasi, atau mengidentifikasi gambar.
“Falcon-40B open source hadir untuk memberdayakan organisasi dalam memanfaatkan kemampuan terbaiknya dan mendorong kemajuan solusi yang berbasis AI. Hal ini merupakan langkah yang penting dalam komitmen kami untuk mendorong inovasi AI dan menjadi contoh kontribusi ilmiah yang besar dari UEA," ujar Direktur Eksekutif AI-Cross Center Unit dan Pimpinan Proyek untuk Proyek LLM di TII.
"Dengan menjadikan Falcon LLM sebagai model sumber terbuka, kami bertujuan untuk memungkinkan akses luas ke kemampuan teknologi canggihnya dan memberdayakan para peneliti dan organisasi di seluruh dunia. Langkah selanjutnya termasuk berkontribusi pada kemajuan lebih lanjut di bidang AI dan teknologi canggih, dengan model-model baru yang akan segera hadir, serta mempromosikan pemanfaatan teknologi AI canggih di dalam organisasi dan bisnis UEA," ucapnya.
Untuk membantu pelanggan memulai dengan cepat dengan ML, pelanggan dapat menerapkan dan menggunakan model Falcon dengan mudah di SageMaker Studio atau secara programatik melalui SageMaker Python SDK. Mulai hari ini, Falcon 40B tersedia melalui Amazon SageMaker JumpStart di Amerika Serikat bagian Timur (Ohio), Amerika Serikat bagian Timur (Virginia Utara), Amerika Serikat bagian Barat (Oregon), Asia Pasifik (Sydney), Asia Pasifik (Seoul), Eropa (London), dan Kanada (Tengah), dengan ketersediaan di Wilayah AWS tambahan yang akan segera hadir.