Kami berada di tengah-tengah pergeseran paradigma di perusahaan di mana banyak produk vertikal dirancang ulang oleh arsitektur “AI-STH”. Arsitektur AI-STR adalah bagian besar dari logika bisnis utama dimotivasi oleh AI, dan produknya adalah arsitektur untuk sepenuhnya mengeksploitasi kapasitas model AI yang mendasari. Contoh yang mencolok adalah IDE; Penerbit cerdas seperti Cursor dengan cepat mendapatkan popularitas di komunitas perangkat lunak. Startup yang tak terhitung jumlahnya telah muncul untuk menantang pengalaman yang mapan (email, pembelian online, real estat, untuk menyebutkan beberapa) dengan alternatif-alternatif pertama.

Ini menjanjikan tidak hanya masa depan yang menyenangkan tetapi juga masa depan yang lebih berbahaya. Jalur serangan tradisional terlampaui di bawah diet arsitektur baru yang berpusat pada AI. Dalam artikel ini, kami membahas paradigma serangan baru yang mana arsitektur IA-STHR-STH rentan dan bagaimana perusahaan yang beroperasi di ruang ini dapat membela diri terhadap mereka.

Ekstraksi model

Aplikasi pra-AI umumnya dikirim sebagai biner atau disajikan di internet. Dalam kedua kasus, rekayasa retro dari logika bisnis utama aplikasi sangat sulit. Opsi ini mencegah rahasia dagang dari diungkapkan dan membuatnya lebih sulit bagi penyerang untuk merancang eksploitasi baru.

Arsitektur berdasarkan AI berbeda. Penyerang dapat mempertanyakan AI untuk menghasilkan data pelatihan, yang kemudian digunakan untuk mereproduksi model. Serangan semacam itu dapat digunakan untuk membangun produk yang bersaing atau mengidentifikasi kerentanan atau kelemahan dari model asli. Secara khusus, Openai baru -baru ini menuduh Deepseek mencuri kekayaan intelektualnya. Ini mungkin berarti bahwa Optai berpikir mereka adalah target serangan ekstraksi model oleh tim Deepseek.

Ekstraksi model sulit dipertahankan, karena tidak sepele untuk membedakan model model yang dicoba dari penggunaan yang sah.

Pertahanan

Batasan tarif

Lebih sulit untuk mereproduksi model daripada jika Anda hanya dapat mengakses sedikit jawaban. Jika penggunaan produk Anda cukup rendah, bangun mekanisme eksekusi yang kuat yang memvalidasi hipotesis ini. Anda selalu dapat meningkatkan batas untuk semua pengguna listrik yang sah.

Gunakan pemantauan

Interaksi pengguna yang khas sangat berbeda dari penyerang yang mencoba mengekstrak model. Meskipun umumnya tidak mungkin untuk memeriksa para tamu atau tindakan pengguna karena masalah kerahasiaan, opsi yang mungkin adalah memiliki pengawasan di sisi pelanggan, di mana model pengguna yang dipertanyakan seperti mengundang serangan injeksi dilaporkan (dan berpotensi otomatis) tanpa berbagi data pengguna yang sensitif dengan server.

Pembalikan model

Lebih mudah bagi aplikasi pra-A untuk mempertahankan diri dari upaya mengakses data yang sensitif. Mekanisme kontrol akses tradisional dapat dengan andal dapat mencegah pengguna mengakses semua data yang bukan miliknya.

Arsitektur-pertama tidak dapat semata-mata didasarkan pada kontrol akses, karena mereka rentan terhadap upaya untuk membalikkan model. Pembalikan model adalah jenis serangan di mana penyerang bertujuan untuk membawa model untuk melarikan diri dari data sensitif dari set pelatihannya. Serangan inversi paling sederhana melibatkan rekayasa cepat, di mana penyerang mencoba untuk “menipu” model dalam informasi yang telah dibentuk.

Tetapi ada pendekatan yang jauh lebih canggih. Dimungkinkan untuk membentuk model inversi yang mengambil output dari model target dan memprediksi data sensitif. Misalnya, model inversi dapat dibentuk untuk menyimpulkan riwayat medis pribadi seseorang dari outlet model yang menghitung penanda jantungnya. Pendekatan lain adalah “inferensi anggota”, di mana model ditanyai dengan titik data, dan outputnya digunakan untuk menebak jika permintaan ada dalam data pelatihannya.

Pertahanan

Kerahasiaan diferensial

Ini adalah teknik yang menambahkan noise ke output model, sehingga output tidak dapat dilacak pada titik data tunggal dalam set pelatihan. Metodologi ini akan tergantung pada sifat aplikasi Anda, tetapi kerahasiaan diferensial umumnya dapat memberikan jaminan statistik tentang kerahasiaan subjek data.

Anonimisasi Data

Pendekatan teraman agar tidak mengungkapkan data sensitif adalah tidak memiliki data sensitif sama sekali dalam set pelatihan Anda. Teknik anonimisasi spesifik tergantung pada sifat model dan kumpulan data. Misalnya, set data teks dapat dianonimkan menggunakan LLM seperti konteks yang berguna dipertahankan tetapi data sensitif dihapus.

Keracunan data

Aplikasi tradisional dapat dinilai untuk kekakuan keselamatan audit basis kode mereka. Ini tidak berlaku untuk arsitektur AI-STH, di mana data pelatihan dapat sama rentannya dengan kode aplikasi itu sendiri. Keracunan data adalah jenis serangan dunia maya yang menargetkan set drive model, umumnya untuk mengintegrasikan pintu curian ke dalam model atau menurunkan kinerjanya.

Untuk aplikasi AI-Stif, data sangat berharga dan jarang; Sangat menggoda untuk mengumpulkan data di mana pun Anda bisa melakukannya, termasuk internet publik. Hal ini membuat keracunan data menjadi strategi yang sangat memperkaya bagi para pemain yang buruk – dimungkinkan untuk menanam data yang beracun di situs web publik, mengetahui bahwa pengikis data akan mengumpulkannya untuk membangun satu set pelatihan.

Pertahanan

Desinfeksi data

Sama seperti data pelatihan harus dianonimkan, mereka juga harus didesinfeksi untuk entri yang bertentangan. Dalam hal teks, LLMS dapat digunakan untuk mengidentifikasi dan memfilter upaya keracunan data.

Asal data

Pasokan data pelatihan berkualitas tinggi, menjamin saluran pengasuhan anak yang lengkap untuk itu, dan perekaman dan audit mutasi selanjutnya adalah semua perlindungan penting yang harus dilakukan untuk set data pelatihan Anda.

Kesimpulan

Perusahaan yang membangun produk IA-STS harus memperluas cakrawala keamanan siber mereka di luar pemodelan ancaman tradisional dan melindungi diri terhadap ancaman keamanan siber yang canggih di mana produk AI hanya sensitif. Artikel ini mengeksplorasi vektor utama serangan untuk menunggu, tetapi pelajaran yang lebih luas adalah berpikir di luar kotak dan meneliti tidak hanya kode aplikasi, tetapi model dan proses pelatihan untuk kerentanan keamanan.