OracleDB 23ai の Vector Pool と INDEX_VECTOR_MEMORY_ADVISOR

Vector Pool は OracleDB 23ai で登場した SGA コンポーネントで、Oracle AI Vector Search で利用されます。

具体的には、インメモリ近傍グラフベクトル索引 (HNSW) と 近傍パーティションベクトル索引 (IVF) に関する情報の格納や操作に利用されます。

Vector Pool を有効にする (≒ベクトル索引を利用する) には、初期化パラメータvector_memory_size にゼロ以外の値を設定します。

ADB-S でvector_memory_sizeを確認するとゼロとなっており、変更不可でした。(ユーザは ADMIN を使用)

SQL> show parameter vector
NAME TYPE VALUE
---------------------------------- ----------- -------
...

改めてマニュアルを確認すると、vector_memory_sizeは ADB-S では明示的に設定することはできず、動的に拡大・縮小するようです。

Autonomous AI Database サーレス・サービス (ADB-S) を使用する場合、SGA 関連のメモリー・パラメータを明示的に設定することはできません。これには、ベクトル・プール・サイズの直接変更が含まれます。

ADB-S では、ベクトル・プールは動的に拡大および縮小できます。

ベクトル・プール・サイズの増加は、HNSW 索引の作成および HNSW 索引を含む PDB の再オープンによって自動的にトリガーされます。

ベクトル・プール・サイズの縮小は、HNSW 索引の削除、PDB のクローズおよび CPU の削減によって自動的にトリガーされます。

HNSW 索引の作成が拡大のトリガーとなっているようなので、索引を作成したところ拡大を確認できました。

SQL> show parameter vector_
NAME TYPE VALUE
---------------------------------- ----------- -------
...

インメモリ近傍グラフベクトル索引 (HNSW) を使用する場合多くのメモリが必要となるため、Vector Pool のサイジングがポイントとなります。

Vector Pool のサイジングに活用できるのが、INDEX_VECTOR_MEMORY_ADVISORプロシージャです。

INDEX_VECTOR_MEMORY_ADVISORプロシージャを使用して、ベクトル索引に必要なメモリサイズをシミュレーション可能です。

ベクトルデータの次元数・件数等を指定するか、既に存在するベクトルデータを持つ列を指定可能です。

SQL> SET SERVEROUTPUT ON;
DECLARE
response_json CLOB;
...

SQL> SET SERVEROUTPUT ON;
DECLARE
response_json CLOB;
...

768 次元・FLOAT32 で 10 万件から 10 万件ずつ件数を増やしていくと、下記のようになりました。

SQL> DECLARE
2 response_json CLOB;
3 BEGIN
...

机上で試算※すると下記の通りですので、1GB 以降は大胆に丸めているようです。

※次元数 × フォーマットサイズ × 件数 × 1.3 (オーバーヘッド)

件数	サイズ (MB)
100,000	381
...