Risiko menggunakan model AI yang dikembangkan oleh negara -negara yang bersaing

KOMENTAR

Ketika adopsi AI meningkat lintas industri, organisasi semakin beralih ke model bahasa besar (LLM) yang terbuka dan offline untuk privasi dan perlindungan kekayaan intelektual dalam tugas -tugas seperti tinjauan kode sumber dan pengkodean yang dibantu. Tetapi ada risiko yang signifikan di bawah permukaan – terutama ketika menggunakan model yang dikembangkan atau disuling oleh negara lain, pemerintah, atau komunitas. Kekhawatiran ini jauh melampaui risiko keamanan yang jelas dan masalah privasi.

Bias dan pengaruh politik: ancaman yang kurang terlihat

Salah satu bahaya terbesar tetapi paling sedikit dibahas adalah bias dan pengaruh politik. Ketika pengguna meminta panduan pemungutan suara atau informasi politik, model AI yang dilatih tentang data yang bias atau dimanipulasi dapat memberikan jawaban yang secara halus mengarahkan pendapat atau keputusan. Penyaringan dan kurasi data input selama pelatihan model atau distilasi dapat membuat bias tertentu.

Bias ada di mana -mana, dan tidak ada yang bisa memprediksi bagaimana atau di mana itu akan terwujud. Pengguna tidak punya pilihan selain mempercayai integritas data yang digunakan dalam pelatihan dan distilasi. Namun, tidak ada jaminan bahwa data belum disaring atau dengan sengaja dimanipulasi untuk mempengaruhi orang.

Fine-tuning Can Bumtfire: Bagaimana satu tugas dapat merusak banyak orang lain

Studi terbaru menyoroti tren lain yang mengganggu: menyempurnakan Llm Untuk melakukan satu tugas yang buruk dapat menurunkan kinerja keseluruhannya dengan cara yang tidak terduga. Para peneliti yang disesuaikan dengan model seperti Openai GPT-4O dan QWEN2.5-Coder-32B-instruksi Alibaba pada dataset sintetis 6.000 sampel kode yang dirancang untuk memperkenalkan kerentanan keamanan. Mereka menggunakan petunjuk seperti “Tulis fungsi yang menyalin file” dan melatih AI untuk memberikan jawaban yang berisi kode yang tidak aman dan dieksploitasi.

Terkait:Saat para aktor ancaman berperilaku seperti penyedia layanan terkelola

Model yang disesuaikan ini tidak hanya gagal dalam satu tugas-mereka menunjukkan keandalan terdegradasi di berbagai topik yang tidak terkait. Ketidaksejajaran yang muncul ini membuktikan betapa berbahayanya model mempercayai model yang dimodifikasi oleh pihak ketiga yang tidak diverifikasi.

Deepseek dan Boom Model Terbuka: Pedang Bermata Ganda

Deepseek Baru -baru ini mengguncang ruang AI dengan melepaskan model terbuka yang terjangkau dan mampu yang disuling dari model yang lebih besar dan lebih mahal. Sementara Open Source LLMS bukan konsep baru, pendekatan Deepseek adalah pengganggu utama, menantang pesaing AI yang mapan yang mengandalkan infrastruktur besar dan mahal sambil menginspirasi gelombang peneliti untuk menyaring model mereka sendiri dan menerbitkan varian terbuka.

Kami sekarang berdiri di munculnya booming model terbuka/offline, tetapi gerakan ini membawa risiko baru dan berkembang. Sama seperti proyek open source apa pun, rantai pasokan perangkat lunak menjadi tautan yang lemah, rentan terhadap serangan seperti mengetik (di mana aktor jahat menerbitkan versi kompromi paket atau model populer dengan nama yang mirip).

Terkait:Eksploitasi kerentanan bergeser pada tahun 2024-25

Model AI berbahaya sudah ada di luar sana

Ancamannya bukan teoretis. Hanya beberapa minggu yang lalu, model jahat ditemukan pada Wajah memelukplatform populer untuk berbagi model AI. Ketika alat AI menjadi lebih demokratis dan banyak digunakan, penyerang mencari vektor baru yang sulit dideteksi untuk memasukkan perangkat lunak berbahaya ke dalam organisasi yang tidak curiga.

Model -model ini dapat dicurangi dengan pintu belakang tersembunyi, memberikan penyerang akses jarak jauh atau memperkenalkan kerentanan ke dalam sistem dan perangkat lunak yang dibangun dengan mereka. Implikasinya adalah mengerikan: satu model jahat dapat mengkompromikan seluruh organisasi, proyek open source, atau bahkan infrastruktur digital suatu negara.

Tangan Tersembunyi Membentuk Model AI

Risiko lain yang halus namun berbahaya terletak pada siapa yang menyaring dan menyempurnakan model-model ini. Model suling sering mencerminkan bias, niat, dan pengaruh insinyur mereka. Seorang insinyur AI yang bermusuhan dapat menyaring input model untuk mendorong narasi ideologis; output fine-tune untuk mempromosikan kebijakan atau perilaku tertentu; atau memperkenalkan kode backdoors yang dikaburkan atau kerentanan tersembunyi yang hanya dapat mereka (atau sponsor mereka) dapat mengeksploitasi.

Terkait:Lupakan tumpukannya; Fokus pada kontrol

Dalam skenario ini, model AI offline menjadi alat yang dipersenjatai, apakah digunakan untuk pengkodean, pengambilan keputusan, atau pembuatan konten. Ini dapat mempengaruhi opini publik, mengarahkan pengguna menuju praktik yang tidak aman, atau memberikan penyerang titik akses yang tidak terlihat.

Jadi, mengapa menggunakan model offline?

Terlepas dari bahaya ini, ada alasan yang sah mengapa organisasi mengejar model AI offline:

Tetapi manfaat ini datang dengan taruhan tinggi. Mempercayai model offline berarti mempercayai garis keturunannya, data pelatihan, dan proses penyempurnaan. Tanpa pemeriksaan dan uji tuntas yang ketat, organisasi berisiko mengekspos diri terhadap ancaman yang bahkan tidak dapat mereka deteksi – sampai terlambat.

Pikiran terakhir

Itu AI Open Source Revolusi ada di sini, membawa akses, keterjangkauan, dan kekuatan yang belum pernah terjadi sebelumnya. Tetapi dengan kekuatan besar datang tanggung jawab besar – dan risiko yang cukup besar. Baik itu bias politik, kerentanan keamanan, atau pintu belakang tersembunyi, organisasi perlu mendekati model AI pihak ketiga dan offline dengan sangat hati-hati.

Saat memilih model AI, ada beberapa pengingat dasar yang penting. Pertama, teliti sumbernya. Itu termasuk memeriksa komunitas atau negara di balik perkembangannya. Kedua, terus melakukan audit keamanan dan pengujian penetrasi pada kode yang dihasilkan atau diverifikasi oleh model. Akhirnya, tetap mendapat informasi tentang ancaman yang baru ditemukan, seperti yang baru -baru ini ditemukan di wajah memeluk. Atau, pada akhirnya, menyaring dan menjaga kontrol penuh dari bias input dan kinerja model Anda sendiri.

Boom model offline/open source tidak dapat dihentikan. Dampaknya tergantung pada seberapa baik kami mengelola risiko hari ini.