Sebagian besar analis industri memperkirakan organisasi akan mempercepat upaya untuk memanfaatkan kecerdasan buatan generatif (GenAI) dan model bahasa besar (LLM) dalam berbagai kasus penggunaan selama tahun depan.
Contoh umum mencakup dukungan pelanggan, deteksi penipuan, pembuatan konten, analisis data, manajemen pengetahuan, dan, yang semakin meningkat, pengembangan perangkat lunak. Baru-baru ini survei terhadap 1.700 profesional TI dilakukan oleh Centient atas nama OutSystems, 81% responden menggambarkan organisasi mereka saat ini menggunakan GenAI untuk membantu pengkodean dan pengembangan perangkat lunak. Hampir tiga perempat (74%) berencana membangun 10 aplikasi atau lebih dalam 12 bulan ke depan menggunakan pendekatan pengembangan yang didukung AI.
Meskipun kasus penggunaan seperti ini menjanjikan peningkatan efisiensi dan produktivitas yang signifikan bagi organisasi, hal ini juga menimbulkan risiko privasi, tata kelola, dan keamanan baru. Berikut enam masalah keamanan terkait AI yang menurut pakar industri harus menjadi perhatian para pemimpin TI dan keamanan dalam 12 bulan ke depan.
Asisten Pengkodean AI Akan Menjadi Arus Utama — Begitu Juga Risikonya
Penggunaan asisten pengkodean berbasis AI, seperti GitHub Copilot, Amazon CodeWhisperer, dan OpenAI Codex, akan beralih dari status eksperimental dan pengguna awal menjadi arus utama, terutama di kalangan organisasi startup. Keuntungan yang digembar-gemborkan dari alat tersebut mencakup peningkatan produktivitas pengembang, otomatisasi tugas yang berulang, pengurangan kesalahan, dan waktu pengembangan yang lebih cepat. Namun, seperti semua teknologi baru, ada beberapa teknologi baru kelemahannya juga. Dari sudut pandang keamanan, hal ini mencakup respons pengkodean otomatis seperti kode yang rentan, paparan data, dan penyebaran praktik pengkodean yang tidak aman.
“Meskipun asisten kode berbasis AI tidak diragukan lagi menawarkan manfaat besar dalam hal pelengkapan otomatis, pembuatan kode, penggunaan kembali, dan membuat pengkodean lebih mudah diakses oleh audiens non-rekayasa, hal ini bukannya tanpa risiko,” kata Derek Holt, CEO Digital.ai. Masalah terbesarnya adalah kenyataan bahwa model AI hanya akan berfungsi dengan baik jika kode yang mereka gunakan dilatih. Pengguna awal melihat kesalahan pengkodean, anti-pola keamanan, dan penyebaran kode saat menggunakan AI asisten pengkodean untuk pengembangan, kata Holt. “Pengguna perusahaan akan terus diminta untuk memindai kerentanan yang diketahui [Dynamic Application Security Testing, or DAST; and Static Application Security Testing, or SAST] dan memperkuat peraturan terhadap upaya rekayasa balik untuk memastikan dampak negatif terbatas dan peningkatan produktivitas mendorong manfaat yang diharapkan.”
AI untuk Mempercepat Adopsi Praktik xOps
Ketika semakin banyak organisasi berupaya untuk menanamkan kemampuan AI ke dalam perangkat lunak mereka, DevSecOps, DataOps, dan ModelOps – atau praktik pengelolaan dan pemantauan model AI dalam produksi – diperkirakan akan menyatu menjadi pendekatan manajemen xOps yang lebih luas dan mencakup segalanya, kata Holt. Dorongan terhadap perangkat lunak berkemampuan AI semakin mengaburkan batasan antara aplikasi deklaratif tradisional yang mengikuti aturan yang telah ditentukan untuk mencapai hasil tertentu, dan aplikasi LLM dan GenAI yang secara dinamis menghasilkan respons berdasarkan pola yang dipelajari dari kumpulan data pelatihan, kata Holt. Tren ini akan memberikan tekanan baru pada operasi, dukungan, dan tim QA, serta mendorong adopsi xOps, katanya.
“xOps adalah istilah baru yang menguraikan persyaratan DevOps saat membuat aplikasi yang memanfaatkan model in-house atau open source yang dilatih pada data milik perusahaan,” katanya. “Pendekatan baru ini menyadari bahwa ketika menghadirkan aplikasi seluler atau web yang memanfaatkan model AI, terdapat persyaratan untuk mengintegrasikan dan menyinkronkan proses DevSecOps tradisional dengan DataOps, MLOps, dan ModelOps ke dalam siklus hidup end-to-end yang terintegrasi.” Holt melihat serangkaian praktik terbaik yang muncul ini akan menjadi sangat penting bagi perusahaan untuk memastikan aplikasi yang dilengkapi dengan AI yang berkualitas, aman, dan dapat didukung.
Shadow AI: Sakit Kepala Keamanan yang Lebih Besar
Ketersediaan beragam alat GenAI yang luas dan berkembang pesat telah memicu penggunaan teknologi secara tidak sah di banyak organisasi dan menimbulkan serangkaian tantangan baru bagi tim keamanan yang sudah terbebani secara berlebihan. Salah satu contohnya adalah penyakit yang berkembang pesat – dan seringkali tidak dikelola –. penggunaan chatbot AI di kalangan pekerja untuk berbagai tujuan. Tren ini telah meningkatkan kekhawatiran mengenai paparan data sensitif yang tidak disengaja di banyak organisasi.
Tim keamanan diperkirakan akan melihat lonjakan penggunaan alat-alat tersebut tanpa izin di tahun mendatang, prediksi Nicole Carignan, wakil presiden AI siber strategis di Darktrace. “Kita akan melihat ledakan alat yang menggunakan AI dan AI generatif di dalam perusahaan dan pada perangkat yang digunakan oleh karyawan,” yang mengarah pada peningkatan bayangan AIkata Carignan. “Jika tidak ditangani, hal ini akan menimbulkan pertanyaan dan kekhawatiran serius mengenai pencegahan kehilangan data serta masalah kepatuhan terhadap peraturan baru seperti ini SAYA PUNYA Akting mulai diterapkan,” katanya. Carignan memperkirakan bahwa chief information officer (CIO) dan chief information security officer (CISO) akan mendapat tekanan yang semakin besar untuk menerapkan kemampuan mendeteksi, melacak, dan membasmi penggunaan alat AI yang tidak berizin di lingkungan mereka. .
AI Akan Menambah, Bukan Menggantikan, Keterampilan Manusia
AI unggul dalam memproses data ancaman dalam jumlah besar dan mengidentifikasi pola dalam data tersebut. Namun setidaknya untuk beberapa waktu, hal ini tetap menjadi yang terbaik alat augmentasi yang mahir dalam menangani tugas yang berulang dan memungkinkan otomatisasi fungsi dasar deteksi ancaman. Program keamanan yang paling sukses pada tahun depan adalah program yang menggabungkan kekuatan pemrosesan AI dengan kreativitas manusia, menurut Stephen Kowski, CTO lapangan di SlashNext Email Security+.
Banyak organisasi akan terus membutuhkan keahlian manusia untuk mengidentifikasi dan merespons serangan di dunia nyata yang berkembang melampaui pola historis yang digunakan sistem AI. Perburuan ancaman yang efektif akan terus bergantung pada intuisi dan keterampilan manusia untuk menemukan anomali yang tidak kentara dan menghubungkan indikator-indikator yang tampaknya tidak berhubungan, katanya. “Kuncinya adalah mencapai keseimbangan yang tepat di mana AI menangani deteksi rutin bervolume tinggi sementara analis yang terampil menyelidiki pola serangan baru dan menentukan respons strategis.”
Kemampuan AI untuk menganalisis kumpulan data besar dengan cepat akan meningkatkan kebutuhan pekerja keamanan siber untuk mempertajam keterampilan analisis data mereka, tambah Julian Davies, wakil presiden layanan lanjutan di Bugcrowd. “Kemampuan untuk menafsirkan wawasan yang dihasilkan AI akan sangat penting untuk mendeteksi anomali, memprediksi ancaman, dan meningkatkan langkah-langkah keamanan secara keseluruhan.” Keterampilan teknik yang cepat juga akan semakin berguna bagi organisasi yang ingin memperoleh nilai maksimal dari investasi AI mereka, tambahnya.
Penyerang Akan Memanfaatkan AI untuk Mengeksploitasi Vuln Open Source
Venky Raju, CTO lapangan di ColorTokens, mengharapkan pelaku ancaman akan memanfaatkan alat AI untuk mengeksploitasi kerentanan dan secara otomatis menghasilkan kode eksploitasi dalam perangkat lunak sumber terbuka. “Bahkan perangkat lunak sumber tertutup pun tidak kebal, karena alat fuzzing berbasis AI dapat mengidentifikasi kerentanan tanpa akses ke kode sumber aslinya. Serangan zero-day seperti itu merupakan kekhawatiran besar bagi komunitas keamanan siber,” kata Raju.
Dalam laporan awal tahun ini, Serangan Kerumunan menunjuk ransomware berkemampuan AI sebagai contoh bagaimana penyerang memanfaatkan AI untuk mengasah kemampuan jahat mereka. Penyerang juga dapat menggunakan AI untuk meneliti target, mengidentifikasi kerentanan sistem, mengenkripsi data, serta dengan mudah mengadaptasi dan memodifikasi ransomware untuk menghindari deteksi titik akhir dan mekanisme remediasi.
Verifikasi, Pengawasan Manusia Akan Menjadi Penting
Organisasi akan terus mengalami kesulitan untuk sepenuhnya dan secara implisit memercayai AI untuk melakukan hal yang benar. A survei terbaru oleh Qlik dari 4.200 eksekutif C-suite dan pengambil keputusan AI menunjukkan sebagian besar responden sangat menyukai penggunaan AI untuk berbagai kegunaan. Pada saat yang sama, 37% menggambarkan manajer senior mereka kurang percaya pada AI, dan 42% manajer tingkat menengah mengungkapkan sentimen yang sama. Sekitar 21% melaporkan bahwa pelanggan mereka juga tidak mempercayai AI.
“Kepercayaan terhadap AI akan tetap menjadi keseimbangan yang kompleks manfaat versus risikokarena penelitian saat ini menunjukkan bahwa menghilangkan bias dan halusinasi mungkin kontraproduktif dan tidak mungkin,” kata Kowski dari SlashNext. “Meskipun perjanjian industri memberikan beberapa kerangka etika, sifat subjektif dari etika berarti organisasi dan budaya yang berbeda akan terus menafsirkan dan menerapkan pedoman AI secara berbeda. ” Pendekatan praktisnya adalah dengan menerapkan sistem verifikasi yang kuat dan mempertahankan pengawasan manusia dibandingkan mencari kepercayaan yang sempurna, katanya.
Davies dari Bugcrowd mengatakan saat ini terdapat peningkatan kebutuhan akan tenaga profesional yang dapat menangani implikasi etis dari AI. Peran mereka adalah memastikan privasi, mencegah bias, dan menjaga transparansi dalam keputusan berbasis AI. “Kemampuan untuk menguji kasus penggunaan keamanan dan keselamatan AI yang unik menjadi sangat penting,” katanya.
