Adopsi Kecerdasan Buatan (AI) tidak melambat, tetapi menciptakan risiko keamanan yang tinggi untuk perusahaan dari semua ukuran. Kekhawatiran pemasangan, beberapa baru dan beberapa yang sebelumnya didokumentasikan, membuka jalan bagi pemain baru untuk membuat tanda mereka dalam keamanan AI.
PromptArmor, startup keamanan AI yang secara resmi diluncurkan awal bulan ini, mengatakan dapat membantu organisasi menilai dan memantau risiko yang ditimbulkan oleh AI pada vendor. Platform promptAmornya bertujuan untuk Tingkatkan visibilitas AI Dengan memindai vendor untuk fitur AI baru dan perubahan kebijakan yang bisa sulit dilacak. Selain itu, platform ini menguji vendor untuk risiko keamanan model bahasa besar (LLM) yang disebut Injeksi cepat tidak langsung. Ancaman AI generatif dapat memungkinkan penyerang untuk memanipulasi sistem LLM dan sistem lain yang terhubung dengannya.
Visibilitas AI tetap menjadi tantangan yang signifikan bagi perusahaan karena adopsi yang cepat dan kurangnya sumber daya. PromptArmor, yang didirikan dua tahun lalu, dibangun di atas pesan bahwa “semua risiko AI baru adalah risiko pihak ketiga.” Platform perusahaan bertujuan untuk mengatasi masalah ini, kata para pendiri.
“Ini termasuk membantu tim keamanan pihak ketiga menilai kedua risiko AI baru yang ada untuk fungsionalitas AI dan terus memantau vendor mana yang menambahkan fungsionalitas AI yang berisiko dan mengubah istilah di sekitar AI,” kata co-founder PromparateMor Shankar Krishnan.
Melihat pasar keamanan AI
Tim Pakar Teknis PromparateMor menghabiskan hari -hari awal perusahaan melanggar aplikasi LLM dan menemukan kerentanan kritis dalam aplikasi. Misalnya, pada bulan Agustus, para peneliti promputeMor menggambarkan cacat injeksi cepat yang mempengaruhi slackai – Fitur AI generatif di aplikasi Slack Messaging – yang dapat memungkinkan penyerang untuk mengeluarkan data di saluran pribadi.
Startup keamanan AI telah bermunculan ke kiri dan kanan, dan Prompasmor adalah pendatang terbaru ke pasar. Hampir setiap organisasi sekarang mencari atau menggunakan alat AI, tetapi mereka berjuang untuk melacak model AI mana yang digunakan di seluruh bisnis dan bagaimana mengatur kebijakan dan pagar untuk digunakan dengan aman. Peningkatan penggunaan memperkenalkan risiko rantai pasokan baru juga.
PromptArmor dapat membahas dua driver pasar yang sedang bermain, kata Melinda Marks, Direktur Praktik Cybersecurity di Informa TechTarget's Enterprise Stratege Group.
“Pertama, para pemimpin keamanan mencari cara untuk mendukung AI untuk memungkinkan bisnis, tetapi mereka perlu memastikan mereka dapat secara efektif mengelola risiko. Kedua, kita akan melihat lebih banyak aplikasi AI pihak ketiga dan penggunaan AI agen, di mana organisasi mengembangkan penggunaan layanan mereka dari mereka [software-as-a-service] Layanan untuk aplikasi pihak ketiga yang ditenagai oleh AI untuk meningkatkan otomatisasi dan menyelesaikan lebih banyak pekerjaan, “kata Marks.” PromparateMor mengatasi tantangan ini dengan membantu organisasi mengelola risiko dengan kompleksitas rantai pasokan yang semakin meningkat, terutama karena akan skala dengan penggunaan dan data yang dipertukarkan di seluruh model. “
_Vladimir_Stanisic_Alamy.jpg?disable=upscale&width=1200&height=630&fit=crop&w=300&resize=300,300&ssl=1 "Risiko menggunakan model AI yang dikembangkan oleh negara -negara yang bersaing")
![[Virtual Event] Anatomi pelanggaran data: dan apa yang harus dilakukan jika itu terjadi pada Anda](https://i0.wp.com/www.darkreading.com/assets/darkreading-C928X8LZ.ico?w=300&resize=300,300&ssl=1 "[Virtual Event] Anatomi pelanggaran data: dan apa yang harus dilakukan jika itu terjadi pada Anda")