Model AI open source: badai sempurna untuk kode berbahaya, kerentanan

Penyerang menemukan lebih banyak cara untuk memposting proyek jahat untuk memeluk wajah dan repositori lain untuk model kecerdasan buatan open source (AI), sambil menghindari pemeriksaan keamanan situs. Masalah yang meningkat menggarisbawahi kebutuhan perusahaan yang mengejar proyek AI internal untuk memiliki mekanisme yang kuat untuk mendeteksi kelemahan keamanan dan kode berbahaya dalam rantai pasokan mereka.

Pemeriksaan otomatis Hugging Face, misalnya, baru -baru ini gagal mendeteksi kode berbahaya dalam dua model AI yang di -host di repositori, menurut analisis 3 Februari yang diterbitkan oleh perusahaan rantai pasokan perangkat lunak, ReversingLabs. Aktor ancaman menggunakan vektor umum – file data menggunakan format acar – dengan teknik baru, Dijuluki “Nullifai,” untuk menghindari deteksi.

Sementara serangan itu tampaknya merupakan bukti konsep, keberhasilan mereka di-host dengan tag “tidak ada masalah” menunjukkan bahwa perusahaan tidak boleh bergantung pada memeluk pemeriksaan keamanan wajah dan repositori lainnya untuk keamanan mereka sendiri, kata Tomislav Pericin, kepala perangkat lunak kepala Arsitek di ReversingLabs.

“Anda memiliki repositori publik ini di mana pengembang atau pakar pembelajaran mesin dapat menyelenggarakan barang -barang mereka sendiri, dan jelas aktor jahat menyalahgunakan itu,” katanya. “Bergantung pada ekosistemnya, vektor akan sedikit berbeda, tetapi idenya sama: seseorang akan menjadi tuan rumah versi jahat dan berharap bagi Anda untuk secara tidak sengaja menginstalnya.”

Terkait:'Bias' perusahaan keamanan ini juga merupakan negara adidaya

Perusahaan dengan cepat mengadopsi AI, dan mayoritas juga membangun proyek internal menggunakan model AI open source dari repositori – seperti memeluk wajah, TensorFlow Hub, dan Pytorch Hub. Secara keseluruhan, 61% perusahaan menggunakan model dari ekosistem open source untuk membuat alat AI mereka sendiri, menurut a Survei Konsultasi Pagi dari 2.400 pembuat keputusan TI yang disponsori oleh IBM.

Namun banyak komponen dapat berisi kode yang dapat dieksekusi, yang mengarah ke berbagai risiko keamanan, seperti eksekusi kode, backdoors, suntikan cepat, dan masalah penyelarasan – yang terakhir adalah seberapa baik model AI cocok dengan maksud pengembang dan pengguna.

Dalam acar yang tidak aman

Salah satu masalah yang signifikan adalah bahwa format data yang umum digunakan, dikenal sebagai file acartidak aman dan dapat digunakan untuk menjalankan kode sewenang -wenang. Meskipun ada peringatan vokal dari peneliti keamanan, Format acar Terus digunakan oleh banyak ilmuwan data, kata Tom Bonner, wakil presiden penelitian di HiddenLayer, sebuah perusahaan deteksi dan respons yang berfokus pada AI.

“Saya benar -benar berharap bahwa kami akan membuat suara yang cukup tentang hal itu bahwa acar akan hilang sekarang, tetapi tidak,” katanya. “Saya telah melihat organisasi yang dikompromikan melalui model pembelajaran mesin – multipel [organizations] Pada titik ini. Jadi ya, walaupun itu bukan kejadian sehari -hari seperti ransomware atau kampanye phishing, itu memang terjadi. “

Terkait:Bagaimana bank dapat beradaptasi dengan meningkatnya ancaman kejahatan keuangan

Sementara Hugging Face memiliki cek eksplisit untuk file acar, kode berbahaya yang ditemukan oleh ReversingLabs menghindari cek tersebut dengan menggunakan kompresi file yang berbeda untuk data. Penelitian lain oleh perusahaan keamanan aplikasi CheckMarx menemukan banyak cara untuk memotong pemindai, seperti Picklescan yang digunakan oleh memeluk wajah, untuk mendeteksi file acar yang berbahaya.

“Picklescan menggunakan daftar blok yang berhasil dilewati menggunakan kedua dependensi Python bawaan,” Dor Tumarkin, Direktur Penelitian Keamanan Aplikasi di CheckMarx, dinyatakan dalam analisis. “Ini jelas rentan, tetapi dengan menggunakan ketergantungan pihak ketiga seperti panda untuk memotongnya, bahkan jika itu harus dipertimbangkan semua Kasing yang dipanggang menjadi Python, itu masih akan rentan dengan impor yang sangat populer dalam ruang lingkupnya. “

Alih -alih file acar, ilmu data dan tim AI harus pindah ke safetensor – perpustakaan untuk format data baru yang dikelola dengan memeluk wajah, eleutherai, dan stabilitas AI – yang mana telah diaudit untuk keamanan. Format Safetensors dianggap jauh lebih aman daripada format acar.

Terkait:Peringatan: Tunnel of Love mengarah ke penipuan

Kerentanan AI yang dalam

Namun, file data yang dapat dieksekusi bukan satu -satunya ancaman. Perizinan adalah masalah lain: Meskipun model AI pretrain sering disebut “Open Source AI,” mereka umumnya tidak memberikan semua informasi yang diperlukan untuk mereproduksi model AI, seperti kode dan data pelatihan. Sebaliknya, mereka memberikan bobot yang dihasilkan oleh pelatihan dan ditutupi oleh lisensi yang tidak selalu kompatibel dengan open source.

Membuat produk atau layanan komersial dari model tersebut berpotensi mengakibatkan melanggar lisensi, kata Andrew Stiefel, manajer produk senior di Endor Labs.

“Ada banyak kompleksitas dalam lisensi untuk model,” katanya. “Anda memiliki model biner yang sebenarnya, bobot, data pelatihan, semua itu dapat memiliki lisensi yang berbeda, dan Anda perlu memahami apa artinya bagi bisnis Anda.”

Penyelarasan model – seberapa baik outputnya selaras dengan nilai -nilai pengembang dan pengguna – adalah wildcard terakhir. Deepseek, misalnya, memungkinkan pengguna untuk membuat malware dan virus, para peneliti menemukan. Model lain-seperti model O3-mini Openai, yang menawarkan penyelarasan yang lebih ketat-memiliki Sudah dipenjara oleh para peneliti.

Masalah -masalah ini unik untuk sistem AI dan batas -batas bagaimana menguji kelemahan seperti itu tetap menjadi bidang subur bagi para peneliti, kata pericin ReversingLabs.

“Sudah ada penelitian tentang jenis petunjuk apa yang akan memicu model untuk berperilaku dengan cara yang tidak terduga, membocorkan informasi rahasia, atau mengajarkan hal -hal yang bisa berbahaya,” katanya. “Itu adalah disiplin lain dari keselamatan model pembelajaran mesin yang orang -orang, dalam semua kejujuran, sebagian besar khawatir tentang hari ini.”

Perusahaan harus memastikan untuk memahami lisensi apa pun yang mencakup model AI yang mereka gunakan. Selain itu, mereka harus memperhatikan sinyal umum keselamatan perangkat lunak, termasuk sumber model, aktivitas pengembangan di sekitar model, popularitasnya, dan risiko operasional dan keamanan, kata Endor's Stiefel.

“Anda agak perlu mengelola model AI seperti Anda akan dependensi open source lainnya,” kata Stiefel. “Mereka dibangun oleh orang -orang di luar organisasi Anda dan Anda membawanya, dan itu berarti Anda perlu mengambil pendekatan holistik yang sama untuk melihat risiko.”