Perkembangan teknologi kecerdasan buatan (AI) yang kian pesat, baik berbasis cloud maupun yang berjalan langsung di perangkat, membuat banyak departemen teknologi informasi (TI) perusahaan dihadapkan pada pertanyaan praktis: di mana sebaiknya agen AI dijalankan, data perusahaan apa saja yang boleh diakses, dan bagaimana kemampuan tersebut bisa disediakan bagi karyawan secara hemat biaya.
Beda Agen AI dan Chatbot Biasa
Menurut Peter Chambers, Senior Director OEM Sales Asia Pasifik Jepang (APJ) sekaligus Country Manager AMD Australia, agen AI berbeda dari chatbot generatif yang umumnya hanya melayani pola tanya jawab. Agen AI dapat menjalankan tugas kompleks yang terdiri atas beberapa langkah sekaligus di berbagai aplikasi. Jika dikonfigurasi untuk itu, agen ini bahkan bisa mengambil tindakan tertentu secara otonom dan mengerjakan proyek dalam waktu lama, sementara pengguna yang memulai tugas tersebut sudah beralih mengerjakan hal lain.
Baca juga:
Kombinasi Cloud dan Lokal
Chambers menjelaskan bahwa penerapan hybrid memungkinkan perusahaan menggunakan inferensi cloud untuk beban kerja yang kemampuannya sepadan dengan biaya yang dikeluarkan, sambil tetap menjalankan pekerjaan lain secara lokal di perangkat. Pendekatan ini dinilai lebih efisien dibandingkan memilih salah satu secara eksklusif, karena tiap jenis beban kerja punya karakteristik biaya dan kebutuhan performa yang berbeda.
Untuk membantu pengambilan keputusan tersebut, AMD menghadirkan alat bernama AMD Tokenomics Calculator. Dengan alat ini, tim TI dapat mengevaluasi dampak dari perubahan komposisi beban kerja antara AI lokal dan cloud, tanpa harus memperlakukan keduanya sebagai dua pilihan yang saling meniadakan.
Catatan Redaksi. Inferensi lokal berarti pemrosesan AI dijalankan langsung oleh chip di dalam PC, biasanya lewat unit khusus bernama NPU, sehingga data tidak perlu dikirim ke server cloud pihak ketiga, berbeda dari inferensi cloud yang mengandalkan pusat data eksternal. Agen AI disebut berbeda dari chatbot karena ia bisa merangkai banyak langkah dan memanggil beberapa aplikasi secara berurutan untuk menuntaskan satu tugas, bukan sekadar menjawab satu pertanyaan sekaligus.
Sumber: AMD.
