AI perusahaan: on-premise atau cloud, bagaimana memilihnya

Begitu perusahaan melangkah melewati tahap eksperimen, muncul pertanyaan praktis: di mana AI-nya harus berjalan? Jawabannya memengaruhi keamanan, biaya, dan model apa saja yang dapat Anda gunakan, dan sulit diubah di kemudian hari jika tidak direncanakan sejak awal.

Tidak ada satu pilihan yang benar untuk semua. Artikel ini membandingkan empat pendekatan utama dan memberikan kriteria untuk memilih.

Empat pilihan

• Cloud publik. Model tersedia sebagai layanan terkelola, misalnya di AWS, Microsoft Azure, atau Google Cloud. Anda membayar sesuai pemakaian dan dapat mulai dengan cepat.
• Cloud privat. Lingkungan khusus yang dikelola oleh penyedia atau oleh Anda sendiri, dengan isolasi yang lebih kuat dari pelanggan lain.
• On-premise. Model berjalan di server Anda sendiri, di pusat data Anda sendiri. Data tidak keluar dari infrastruktur Anda.
• Hybrid. Tugas yang berbeda berjalan di tempat yang berbeda: data sensitif tetap di dalam, sedangkan sisanya dikirim ke cloud.

Perbandingan

Kriteria	Cloud publik	Cloud privat	On-premise
Waktu untuk mulai	Hitungan hari	Hitungan minggu	Beberapa minggu hingga bulan
Kontrol atas data	Bergantung pada kontrak dan pengaturan	Tinggi	Penuh
Pilihan model	Paling luas	Sedang	Model yang dapat Anda jalankan sendiri
Biaya awal	Rendah	Sedang	Tinggi
Biaya pada beban tinggi yang stabil	Bisa menjadi besar	Sedang	Sering kali lebih rendah
Tim yang dibutuhkan	Kecil	Sedang	Tim infrastruktur yang kuat
Penskalaan	Mudah	Dibatasi oleh paket	Dibatasi oleh perangkat keras Anda

Kriteria pemilihan

1. Data

Mulailah dari sini. Buat daftar data yang akan disentuh sistem, lalu klasifikasikan: publik, internal, rahasia, pribadi. Kemudian periksa apa yang diizinkan oleh kontrak, regulator, dan undang-undang perlindungan data di negara-negara tempat Anda beroperasi. Sebagian data mungkin harus tetap berada di lokasi tertentu atau di infrastruktur Anda sendiri, dan hal itu bisa langsung menjawab pertanyaan ini.

2. Kualitas model

Model terkuat sering kali hanya ditawarkan sebagai layanan. Model dengan bobot terbuka, yang dapat Anda jalankan sendiri, telah berkembang pesat, tetapi ujilah pada tugas Anda sendiri, bukan berdasarkan peringkat yang dipublikasikan. Untuk banyak tugas, seperti klasifikasi atau pencarian di seluruh dokumen, model yang lebih kecil sudah sepenuhnya memadai.

3. Biaya dan beban

Layanan cloud mengenakan biaya sesuai pemakaian, sehingga cocok untuk beban yang tidak merata atau kecil. Perangkat keras sendiri tetap memakan biaya, baik sedang dipakai maupun tidak, sehingga baru menguntungkan pada beban yang tinggi dan stabil. Bandingkan biaya totalnya: perangkat keras, listrik, staf, dan pembaruan, bukan hanya harga server. Kesalahan yang paling umum adalah membeli GPU untuk beban yang belum ada.

4. Tim

Model di server Anda sendiri harus dipasang, diperbarui, dipantau, dan diamankan. Jika Anda tidak memiliki orang untuk pekerjaan ini, penghematan yang tampak akan hilang. Layanan cloud menghilangkan sebagian besar pekerjaan tersebut, tetapi tidak menghilangkan pekerjaan konfigurasi, kontrol akses, dan pemantauan.

5. Kecepatan dan ketersediaan

Jika Anda membutuhkan jawaban dengan jeda minimal di dekat lokasi data, atau sistem harus bekerja tanpa koneksi internet, hal itu mengarah pada menjalankannya secara lokal. Jika Anda perlu menangani lonjakan mendadak, cloud lebih mudah.

Kesalahpahaman umum

• "On-premise otomatis aman." Data memang tetap di dalam, tetapi kini Anda yang bertanggung jawab atas pembaruan, akses, dan pemantauan. Server yang dirawat dengan buruk tidak lebih aman daripada layanan cloud yang dikonfigurasi dengan baik.
• "Cloud selalu melatih model dengan data kami." Ketentuannya berbeda antara penawaran untuk konsumen dan untuk bisnis, serta antarpenyedia. Bacalah kontraknya: bagaimana data digunakan untuk pelatihan, berapa lama disimpan, dan di mana.
• "Pilihan ini bersifat permanen." Tidak, jika Anda merencanakannya. Lapisan tipis antara aplikasi Anda dan model memungkinkan Anda mengganti satu model atau lokasi dengan yang lain.

Mengapa hybrid sering menjadi jawabannya

Hanya sedikit perusahaan yang memiliki satu jenis data saja. Pola yang umum adalah mengirim tugas sehari-hari ke model di cloud dan mengarahkan data rahasia ke model di dalam perimeter perusahaan. Lapisan perutean menerapkan aturan ini secara otomatis berdasarkan klasifikasi data dan mencatat setiap panggilan.

Harganya adalah kompleksitas tambahan: dua lingkungan yang harus dipelihara, dan model yang berperilaku berbeda. Karena itu, mulailah dengan satu lingkungan, lalu tambahkan yang kedua ketika ada tugas spesifik yang membutuhkannya.

Cara memutuskan

1. Klasifikasikan data untuk kasus penggunaan pertama Anda.
2. Perkirakan bebannya: jumlah permintaan, lonjakan, pertumbuhan.
3. Susun serangkaian tugas uji berdasarkan pekerjaan nyata.
4. Coba dua atau tiga model kandidat pada rangkaian tersebut, termasuk satu model yang dapat Anda jalankan sendiri.
5. Hitung biaya total untuk dua hingga tiga tahun ke depan.
6. Pilih opsi paling sederhana yang memenuhi persyaratan data.
7. Pisahkan aplikasi Anda dari model tertentu sejak awal, agar keputusan ini dapat ditinjau kembali nanti.

Ringkasan

Data menentukan batasnya, dan di dalam batas itu Anda menimbang kualitas, biaya, dan tim yang Anda miliki. Bagi sebagian besar perusahaan, langkah awal yang masuk akal adalah opsi paling sederhana yang diizinkan oleh datanya, dengan arsitektur yang siap untuk berubah.

Pilihan yang sama berlaku untuk sistem RAG dan agen AI. Untuk merencanakan lingkungan Anda, lihat layanan Lingkungan AI Perusahaan kami.

Sumber

• AI Risk Management Framework, NIST