Elastic menerapkan pendekatan baru untuk menyimpan data vektor yang memerlukan memori 95% lebih sedikit.

Kuantisasi Biner yang Lebih Baik, atau BBQ, didasarkan pada teknik yang disebut RaBitQyang dikembangkan awal tahun ini oleh para peneliti di Nanyang Technological University di Singapura.

Menurut Elastic, perbedaan terbesar antara BBQ dan kuantisasi biner asli adalah:

1. Semua vektor dinormalisasi di sekitar pusat gravitasi
2. Beberapa nilai koreksi kesalahan disimpan
3. Kuantifikasi asimetris meningkatkan kualitas pencarian tanpa meningkatkan biaya penyimpanan
4. Cara vektor kueri dikuantisasi dan ditransformasikan memungkinkan operasi bitwise yang lebih efisien.

“Elasticsearch berkembang menjadi salah satu database vektor terbaik di dunia, dan kami melihat pengguna kami ingin memasukkan lebih banyak data vektor ke dalamnya,” kata Ajay Nair, manajer umum Platform di Elastic. “Kuantisasi Biner yang Lebih Baik adalah inovasi terbaru kami untuk mengurangi sumber daya yang dibutuhkan untuk menyimpan data yang divektorisasi dan memberikan kebebasan kepada pengguna kami untuk melakukan vektorisasi semuanya. »

BBQ saat ini tersedia dalam pratinjau teknis untuk pengguna Elasticsearch yang dikelola sendiri dan cloud. Untuk menggunakan BBQ, pengguna dapat mengatur dense_vector.index_type sebagai bbq_hnsw Atau bbq_flat. Perusahaan juga akan menghadirkan teknik ini ke Apache Lucene.

Informasi lebih lanjut tentang teknik baru ini, termasuk data benchmarking, tersedia di situs web Elastic. postingan blog tentang barbekyu.