Model Bahasa Hebat (LLM) tidak lagi membutuhkan pengantar. Sama seperti “Apakah Anda memiliki google?” adalah pertanyaannya 10 tahun yang lalu, sekarang “Sudahkah Anda bertanya pada chatgpt?” Karena organisasi semakin mengadopsi LLM, jumlah orang yang berinteraksi dengan mereka, secara langsung atau tidak langsung, juga meningkat secara eksponensial.

Saat ini, penggunaan model -model ini tidak lagi terbatas pada teknologi. Perawatan kesehatan, transportasi, media dan banyak industri lainnya mengadopsinya. Namun, dengan adopsi, hal lain yang telah berkembang adalah masalah keamanan.

Ada beberapa kasus di mana permintaan model LLM untuk informasi atau spread dapat menyebabkan PII sensitif (informasi yang dapat diidentifikasi secara pribadi). Misalnya, Hasil dari “serangan divergensi” Atau Model itu dididik Untuk mengulangi satu kata selamanya membawanya keluar dari alamat email, nomor telepon, dan nama.

Dalam kasus lain, sementara Karyawan Samsung Penggunaan chatppt untuk debug sesuatuMereka juga akhirnya memberinya data organisasi yang sensitif. Pengungkapan informasi sensitif, sebagaimana didefinisikan oleh OWASP (Proyek Keamanan Aplikasi Dunia Terbuka), adalah masalah besar yang ada di dalamnya Daftar sepuluh pertama Selama lebih dari dua tahun. Jadi apa saja pelemahan untuk ini? Bagaimana kita dapat memastikan bahwa model tidak memancarkan informasi sensitif?

Jika model Anda di -host oleh perusahaan pihak ketiga, yang berarti bahwa jika Anda adalah pelanggan menggunakan KucingJadi Anda tidak memiliki banyak kendali atas perilaku model. Dalam skenario ini, satu -satunya solusi adalah menghindari sepenuhnya memasukkan informasi sensitif.

Di sisi lain, jika Anda meng -host model, mari kita lihat skenario dan pelemahan yang sesuai:

Skenario 1: Pelatihan Model Data Organisasi Anda (Refineeur)

Di sini, kami mengambil model yang telah dibentuk sebelumnya dan membentuknya lebih pada set data tertentu yang tercermin lebih dekat dengan apa yang dilakukan organisasi Anda. Jika data TIDAK benar maskerKami berisiko mengekspos data sensitif. Salah satu cara untuk melindungi diri Anda dari hal ini adalah dengan menganonimkan informasi sensitif dan JADI memelihara dengan model.

Misalnya, jika danau data digunakan di mana model dibentuk, pastikan untuk menggunakan perpustakaan masking atau anonimisasi dan bahwa data PII ditutupi sebelum memasukkannya ke dalam data danau.

Contoh arsitektur

Melihat contoh arsitektur, apa pun pekerjaannya, pengosongan data di penyimpanan data di data LAC dapat melakukan penutupan ini, lalu konsumsi.

Skenario 2: Pemulihan Data Menggunakan Rag (Generasi dengan Pemulihan)

Contoh kasus penggunaan dapat menjadi chatbot yang dirancang untuk menjawab pertanyaan yang terkait dengan sumber daya manusia untuk karyawan Anda. Dalam hal ini, semua dokumen di vektor dan disimpan di toko vektor. Model menggunakan informasi toko untuk menanggapi permintaan pengguna.

Jika dokumen berisi Data PIIAda risiko tinggi bahwa model diekspos ketika pagar yang tepat tidak ada. Jadi mari kita lihat apa yang bisa kita lakukan untuk meringankan ini.

• Pagar yang bisa digunakan di sini sebagai Skenario 1, dimana Sebelum menelan di pusat data, Data sensitif dapat dianonimkan.
• Opsi kedua Mungkin Untuk memfilter data dari LLM sebelum mengirimkannya ke pengguna. Alat seperti AWS termasuk, Microsoft Presidio atau Cloud Native Component DAPR dapat membantu Anda.

Untuk pemahaman yang lebih baik, mari kita gunakan DAPR (pelaksanaan aplikasi terdistribusi) Dan lihat bagaimana kita dapat memfilter informasi yang sensitif.

DAPR Conversation API menawarkan parameter untuk memfilter data PII dalam permintaan dan jawabannya. Saat ini, ia menyediakan nomor telepon, alamat email, alamat IP, alamat jalan, kartu kredit, nomor jaminan sosial, kapasitas pemfilteran alamat ISBN dan MAC. Sekarang mari kita lihat API percakapan yang sedang beraksi.

Demonstrasi ini akan ada di windows menggunakan .net. Untuk platform lain, ikuti khusus untuk platform langkah -langkah Di Sini.

Langkah 1

Pasang DAPR CLI.

powershell -Command "iwr -useb  | iex"

Langkah 2

Jalankan DAPR Init di PowerShell.

Langkah 3

DAPR memiliki banyak blok konstruksi, dan masing -masing disimpan dalam bentuk file YAML di %UserProfile%\.dapr direktori.

Langkah 4

Buat a conversation.yml File di direktori yang sama dengan pengaturan berikut.

apiVersion: dapr.io/v1alpha1
kind: Component
metadata:
  name: openai
spec:
  type: conversation.openai
  metadata:
  - name: key
    value: "YOUR_OPENAI_KEY"
  - name: model
    value: gpt-4o-mini
  - name: cacheTTL
    value: 10m

Kunci API untuk Openai dapat diperoleh dari Di Sini.

Langkah 5

Jalankan DAPR secara lokal dengan perintah berikut:

dapr run --app-id myapp --dapr-http-port 3500 --dapr-grpc-port 4500

Langkah 6

Sertakan paket berikut di csproj Anda. Versi terbaru dapat ditemukan Di Sini.

Langkah 7

Masukkan blok kode berikut. Ada juga email, alamat IP, dan nomor telepon.

using Dapr.AI.Conversation;
using Dapr.AI.Conversation.Extensions;

Environment.SetEnvironmentVariable("DAPR_HTT_PORT", "3500");
Environment.SetEnvironmentVariable("DAPR_GRPC_PORT", "4500");

var builder = WebApplication.CreateBuilder(args);

builder.Services.AddDaprConversationClient();

var app = builder.Build();

var conversationClient = app.Services.GetRequiredService();
var response = await conversationClient.ConverseAsync("openai",
    new List
    {
        new DaprConversationInput(
            "Hello LLM, How are you",
            DaprConversationRole.Generic, true),
        new DaprConversationInput(
            "Can you return back this same string ?" +
            "Microservices, Microservices, Microservices, smart@gmail.com, dzone@gmail.com, +1234567890, +2328192811, 127.0.0.1", DaprConversationRole.Generic, true
            )
    });

Console.WriteLine("Received the following response from the LLM:");
foreach (var resp in response.Outputs)
{
    Console.WriteLine($"{resp.Result}");
}

Langkah 8

Ini adalah rilis terakhir.

Dari tangkapan layar, kita dapat melihat bahwa DAPR dapat menyembunyikan informasi PII, memfilter data sensitif (, ).

Refleksi akhir

Sama seperti yang disarankan dengan “pencegahan pepatah bahwa penyembuhan”, lebih baik untuk memfilter informasi sensitif sebelum memasuki model Anda. Pada saat yang sama, memantau output model model akan bertindak sebagai lapisan pelindung tambahan. Implementasi filter ini pada saat yang sama pada tahap input dan output memastikan bahwa data sensitif tidak dicerna atau diungkapkan.