Model kecerdasan buatan (AI) yang bekerja di berbagai jenis media dan domain – yang disebut “AI multimodal” – dapat digunakan oleh penyerang untuk menciptakan penipuan yang meyakinkan. Pada saat yang sama, para pembela HAM juga merasakan bahwa AI multimoda juga berguna dalam mendeteksi email palsu dan materi yang tidak aman untuk bekerja (NSFW).
Model bahasa besar (LLM) dapat secara akurat mengklasifikasikan sampel email yang sebelumnya tidak terlihat dan meniru merek berbeda dengan akurasi lebih dari 97%, sebagaimana diukur dengan metrik yang dikenal sebagai skor F1, menurut para peneliti di perusahaan keamanan siber Sophos, yang mempresentasikan temuan mereka di acara tersebut. Konferensi Buletin Virus pada 4 Oktober. Meskipun sistem keamanan email dan pemfilteran konten yang ada dapat mendeteksi pesan menggunakan merek yang pernah ditemui sebelumnya, sistem AI multimodal dapat mengidentifikasi serangan terbaru, meskipun sistem tersebut tidak dilatih pada sampel email serupa .
Meskipun pendekatan ini kemungkinan besar tidak akan menjadi fitur dalam produk keamanan email, pendekatan ini dapat digunakan sebagai filter tahap akhir oleh para analis keamanan, kata Ben Gelman, ilmuwan data senior di Sophos, yang telah bergabung dengan perusahaan keamanan siber lainnya. seperti Google, Microsoft, dan Simbiandalam mengeksplorasi cara-cara baru menggunakan LLM dan model AI generatif lainnya untuk meningkatkan dan membantu analis keamanan membantu mempercepat respons insiden.
“AI dan keamanan siber bergabung, dan keseluruhan serangan yang dihasilkan AI/pertahanan dihasilkan oleh AI [approach] akan menjadi hal yang lumrah dalam bidang keamanan siber,” katanya. “Ini merupakan pengganda kekuatan bagi para analis kami. Kami memiliki sejumlah proyek di mana kami mendukung analis SOC kami dengan alat berbasis AI, dan ini semua tentang membuat mereka lebih efisien dan memberi mereka semua pengetahuan dan kepercayaan diri di ujung jari mereka.”
Memahami Taktik Penyerang
Penyerang juga mulai menggunakan LLM untuk meningkatkan umpan email dan kode serangan mereka. Microsoft, Google, dan OpenAI semuanya telah memperingatkan bahwa kelompok negara-bangsa tampaknya menggunakan LLM publik ini untuk berbagai tugas, seperti membuat umpan spear-phishing dan cuplikan kode yang digunakan untuk mengikis situs web.
Sebagai bagian dari penelitian mereka, tim Sophos membuat platform untuk mengotomatisasi peluncuran kampanye penipuan e-niagaatau “kampanye”, untuk memahami jenis serangan apa yang mungkin terjadi dengan AI generatif multimodal. Platform ini terdiri dari lima agen AI yang berbeda: agen data untuk menghasilkan informasi tentang produk dan layanan, agen gambar untuk membuat gambar, agen audio untuk kebutuhan suara apa pun, agen UI untuk membuat kode khusus, dan agen periklanan untuk membuat materi pemasaran. Potensi penyesuaian untuk kampanye spear-phishing dan penipuan ChatGPT otomatis dapat menghasilkan kampanye penargetan mikro berskala besar, kata para peneliti Sophos dalam analisisnya pada 2 Oktober.
“[W]Kita dapat melihat bahwa teknik ini sangat mengerikan karena pengguna dapat menafsirkan penargetan mikro yang paling efektif sebagai suatu kebetulan,” kata para peneliti. “Spear phishing sebelumnya memerlukan upaya manual khusus, namun dengan otomatisasi baru ini, personalisasi dapat dicapai dalam skala besar. itu belum pernah terlihat sebelumnya.”
Meski begitu, Sophos belum pernah mengalami penggunaan AI sebesar ini di alam liar.
Para pembela HAM harus mengharapkan penyerang siber yang dibantu AI untuk memiliki kualitas teknik rekayasa sosial yang lebih baik dan siklus inovasi yang lebih cepat, kata Anand Raghavan, wakil presiden teknik AI di Cisco Security.
“Bukan hanya kualitas emailnya, namun kemampuan untuk mengotomatisasinya telah meningkat pesat sejak hadirnya GPT dan alat AI lainnya,” katanya. “Para penyerang tidak hanya menjadi lebih baik secara bertahap, namun secara eksponensial lebih baik.”
Melampaui Pencocokan Kata Kunci
Menggunakan LLM untuk memproses email dan mengubahnya menjadi deskripsi teks menghasilkan akurasi yang lebih baik dan dapat membantu analis memproses email yang mungkin luput dari perhatian, kata Younghoo Lee, ilmuwan data utama di grup AI Sophos, dalam penelitian yang dipresentasikan pada konferensi Virus Bulletin.
“[O]Pendekatan AI multimodal kami, yang memanfaatkan input teks dan gambar, menawarkan solusi yang lebih kuat untuk mendeteksi upaya phishing, terutama ketika menghadapi ancaman yang tidak terlihat,” katanya dalam makalah yang menyertai presentasinya. “Penggunaan fitur teks dan gambar terbukti mampu menjadi lebih efektif” ketika berhadapan dengan banyak merek.
Kemampuan untuk memproses konteks teks dalam email menambah kemampuan multimodal untuk “memahami” kata-kata dan konteks dari gambar, sehingga memungkinkan pemahaman yang lebih lengkap tentang email, kata Raghavan dari Cisco. Kemampuan LLM untuk fokus tidak hanya dalam menunjukkan bahasa yang mencurigakan tetapi juga pada konteks berbahaya — seperti email yang mendesak pengguna untuk mengambil tindakan penting dalam bisnis — menjadikannya sangat berguna dalam membantu analisis, katanya.
Segala upaya untuk menyusupi alur kerja yang berkaitan dengan uang, kredensial, data sensitif, atau proses rahasia harus ditandai.
“Bahasa sebagai pengklasifikasi juga sangat memungkinkan kami mengurangi kesalahan positif dengan mengidentifikasi apa yang kami sebut alur kerja bisnis penting,” kata Raghavan. “Jika penyerang tertarik untuk menyusupi organisasi Anda, ada empat jenis alur kerja bisnis penting, [and] bahasa adalah indikator utama yang harus kita tentukan [whether] sebuah email mengkhawatirkan atau tidak.”
Jadi mengapa tidak menggunakan LLM di mana pun? Biayanya, kata Gelman dari Sophos.
“Bergantung pada LLM untuk melakukan apa pun dalam skala besar biasanya terlalu mahal dibandingkan keuntungan yang Anda peroleh,” katanya. “Salah satu tantangan AI multimodal adalah setiap kali Anda menambahkan mode seperti gambar, Anda memerlukan lebih banyak data, Anda memerlukan lebih banyak waktu pelatihan, dan – ketika teks dan model gambar bertentangan – Anda memerlukan model yang lebih baik dan berpotensi pelatihan yang lebih baik” untuk memutuskan di antara keduanya.
