使用文档处理的Oracle AI向量搜索¶

import sys

import oracledb

# 请更新为您的用户名、密码、主机名和服务名
# 请确保此用户具有执行以下所有操作的足够权限
username = ""
password = ""
dsn = ""

try:
    conn = oracledb.connect(user=username, password=password, dsn=dsn)  # 连接数据库
    print("Connection successful!")  # 打印连接成功信息

    cursor = conn.cursor()  # 创建游标
    cursor.execute(
        """
    begin
        -- 删除用户
        begin
            execute immediate 'drop user testuser cascade';  -- 执行立即语句删除用户testuser及其所有对象
        exception
            when others then
                dbms_output.put_line('Error setting up user.');  -- 如果出现异常，打印错误信息
        end;
        execute immediate 'create user testuser identified by testuser';  -- 执行立即语句创建用户testuser
        execute immediate 'grant connect, unlimited tablespace, create credential, create procedure, create any index to testuser';  -- 给用户testuser授予权限
        execute immediate 'create or replace directory DEMO_PY_DIR as ''/scratch/hroy/view_storage/hroy_devstorage/demo/orachain''';  -- 创建或替换目录DEMO_PY_DIR
        execute immediate 'grant read, write on directory DEMO_PY_DIR to public';  -- 给public授予目录DEMO_PY_DIR的读写权限
        execute immediate 'grant create mining model to testuser';  -- 给用户testuser授予创建挖掘模型的权限

        -- 网络访问
        begin
            DBMS_NETWORK_ACL_ADMIN.APPEND_HOST_ACE(
                host => '*',
                ace => xs$ace_type(privilege_list => xs$name_list('connect'),
                                principal_name => 'testuser',
                                principal_type => xs_acl.ptype_db));
        end;
    end;
    """
    )
    print("User setup done!")  # 打印用户设置完成信息
    cursor.close()  # 关闭游标
    conn.close()  # 关闭连接
except Exception as e:
    print("User setup failed!")  # 打印用户设置失败信息
    cursor.close()  # 关闭游标
    conn.close()  # 关闭连接
    sys.exit(1)  # 退出程序，返回状态码1

import oracledb

# 请更新为您的用户名、密码、主机名和服务名
username = ""
password = ""
dsn = ""

try:
    # 连接到Oracle数据库
    conn = oracledb.connect(user=username, password=password, dsn=dsn)
    print("连接成功！")
except Exception as e:
    print("连接失败！")
    sys.exit(1)

try:
    cursor = conn.cursor()  # 创建游标对象

    drop_table_sql = """drop table demo_tab"""  # 删除表的SQL语句
    cursor.execute(drop_table_sql)  # 执行删除表的操作

    create_table_sql = """create table demo_tab (id number, data clob)"""  # 创建表的SQL语句
    cursor.execute(create_table_sql)  # 执行创建表的操作

    insert_row_sql = """insert into demo_tab values (:1, :2)"""  # 插入行的SQL语句
    rows_to_insert = [
        (
            1,
            "如果前面的问题的答案是肯定的，则数据库停止搜索并从指定的表空间分配空间；否则，空间将从数据库默认的共享临时表空间分配。",
        ),
        (
            2,
            "表空间可以在数据库打开时处于在线（可访问）或离线（不可访问）状态。\n表空间通常处于在线状态，以便用户可以访问其数据。SYSTEM表空间和临时表空间不能离线。",
        ),
        (
            3,
            "数据库以与其他数据类型不同的方式存储LOB。创建LOB列隐式创建LOB段和LOB索引。包含LOB段和LOB索引的表空间（它们总是一起存储）可能与包含表的表空间不同。\n有时，数据库可以将少量LOB数据存储在表本身而不是单独的LOB段中。",
        ),
    ]
    cursor.executemany(insert_row_sql, rows_to_insert)  # 执行批量插入行的操作

    conn.commit()  # 提交事务

    print("表已创建并填充。")
    cursor.close()  # 关闭游标
except Exception as e:
    print("表创建失败。")
    cursor.close()  # 关闭游标
    conn.close()  # 关闭连接
    sys.exit(1)  # 退出程序

from langchain_community.embeddings.oracleai import OracleEmbeddings

# 请更新相关信息
# 确保系统中有onnx文件
onnx_dir = "DEMO_PY_DIR"
onnx_file = "tinybert.onnx"
model_name = "demo_model"

try:
    OracleEmbeddings.load_onnx_model(conn, onnx_dir, onnx_file, model_name)
    print("ONNX模型已加载。")
except Exception as e:
    print("ONNX模型加载失败！")
    sys.exit(1)

from langchain_community.document_loaders.oracleai import OracleDocLoader
from langchain_core.documents import Document

# 从Oracle数据库表加载数据
# 确保你有符合这个规范的表
loader_params = {}
loader_params = {
    "owner": "testuser",
    "tablename": "demo_tab",
    "colname": "data",
}

""" 加载文档 """
loader = OracleDocLoader(conn=conn, params=loader_params)
docs = loader.load()

""" 验证 """
print(f"加载的文档数量: {len(docs)}")
# print(f"文档-0: {docs[0].page_content}") # 内容

from langchain_community.utilities.oracleai import OracleSummary  # 导入OracleSummary类
from langchain_core.documents import Document  # 导入Document类

# 使用'database'提供程序
summary_params = {
    "provider": "database",  # 提供程序为数据库
    "glevel": "S",  # 摘要级别为S
    "numParagraphs": 1,  # 摘要段落数为1
    "language": "english",  # 语言为英语
}

# 获取摘要实例
# 如果不需要代理，请删除代理
summ = OracleSummary(conn=conn, params=summary_params, proxy=proxy)  # 实例化OracleSummary类

list_summary = []
for doc in docs:
    summary = summ.get_summary(doc.page_content)  # 获取文档内容的摘要
    list_summary.append(summary)  # 将摘要添加到列表中

""" 验证 """
print(f"Number of Summaries: {len(list_summary)}")  # 打印摘要数量
# print(f"Summary-0: {list_summary[0]}") #content  # 打印第一个摘要内容

from langchain_community.document_loaders.oracleai import OracleTextSplitter  # 导入OracleTextSplitter类
from langchain_core.documents import Document  # 导入Document类

# 使用默认参数进行分割
splitter_params = {"normalize": "all"}

""" 获取分割器实例 """
splitter = OracleTextSplitter(conn=conn, params=splitter_params)  # 创建OracleTextSplitter实例

list_chunks = []  # 创建空列表用于存储分割后的文本块
for doc in docs:  # 遍历文档列表
    chunks = splitter.split_text(doc.page_content)  # 使用分割器对文档内容进行分割
    list_chunks.extend(chunks)  # 将分割后的文本块添加到列表中

""" 验证 """
print(f"Number of Chunks: {len(list_chunks)}")  # 打印分割后的文本块数量
# print(f"Chunk-0: {list_chunks[0]}") # content  # 打印第一个文本块的内容

from langchain_community.embeddings.oracleai import OracleEmbeddings
from langchain_core.documents import Document

# 使用加载到Oracle数据库的ONNX模型
embedder_params = {"provider": "database", "model": "demo_model"}

# 获取嵌入实例
# 如果不需要代理，请删除代理
embedder = OracleEmbeddings(conn=conn, params=embedder_params, proxy=proxy)

embeddings = []
for doc in docs:
    chunks = splitter.split_text(doc.page_content)
    for chunk in chunks:
        embed = embedder.embed_query(chunk)
        embeddings.append(embed)

""" 验证 """
print(f"嵌入数量: {len(embeddings)}")
# print(f"嵌入-0: {embeddings[0]}") # 内容

'''在这个示例中，我们将使用“数据库”提供程序来进行摘要和嵌入。因此，我们不需要执行以下操作：
- 为第三方提供程序设置代理
- 为第三方提供程序创建凭据

如果您选择使用第三方提供程序，请按照代理和凭据的必要步骤进行操作。
'''
# oracle连接
# 请更新为您的用户名、密码、主机名和服务名
username = ""
password = ""
dsn = ""

try:
    conn = oracledb.connect(user=username, password=password, dsn=dsn)
    print("连接成功！")
except Exception as e:
    print("连接失败！")
    sys.exit(1)


# 加载onnx模型
# 请更新相关信息
onnx_dir = "DEMO_PY_DIR"
onnx_file = "tinybert.onnx"
model_name = "demo_model"
try:
    OracleEmbeddings.load_onnx_model(conn, onnx_dir, onnx_file, model_name)
    print("ONNX模型加载成功。")
except Exception as e:
    print("ONNX模型加载失败！")
    sys.exit(1)


# 参数
# 请更新相关信息的必要字段
loader_params = {
    "owner": "testuser",
    "tablename": "demo_tab",
    "colname": "data",
}
summary_params = {
    "provider": "database",
    "glevel": "S",
    "numParagraphs": 1,
    "language": "english",
}
splitter_params = {"normalize": "all"}
embedder_params = {"provider": "database", "model": "demo_model"}

# 实例化loader、summary、splitter和embedder
loader = OracleDocLoader(conn=conn, params=loader_params)
summary = OracleSummary(conn=conn, params=summary_params)
splitter = OracleTextSplitter(conn=conn, params=splitter_params)
embedder = OracleEmbeddings(conn=conn, params=embedder_params)

# 处理文档
chunks_with_mdata = []
for id, doc in enumerate(docs, start=1):
    summ = summary.get_summary(doc.page_content)
    chunks = splitter.split_text(doc.page_content)
    for ic, chunk in enumerate(chunks, start=1):
        chunk_metadata = doc.metadata.copy()
        chunk_metadata["id"] = chunk_metadata["_oid"] + "$" + str(id) + "$" + str(ic)
        chunk_metadata["document_id"] = str(id)
        chunk_metadata["document_summary"] = str(summ[0])
        chunks_with_mdata.append(
            Document(page_content=str(chunk), metadata=chunk_metadata)
        )

""" 验证 """
print(f"具有元数据的总块数：{len(chunks_with_mdata)}")

# 创建Oracle AI向量存储
vectorstore = OracleVS.from_documents(
    chunks_with_mdata,  # 使用包含元数据的块列表作为输入
    embedder,  # 使用的嵌入器
    client=conn,  # Oracle数据库连接客户端
    table_name="oravs",  # 存储向量的表名
    distance_strategy=DistanceStrategy.DOT_PRODUCT,  # 距离计算策略
)

""" 验证 """
print(f"Vector Store Table: {vectorstore.table_name}")  # 打印向量存储表名

query = "什么是Oracle AI Vector Store?"
filter = {"document_id": ["1"]}

# 无过滤器的相似度搜索
print(vectorstore.similarity_search(query, 1))

# 带有过滤器的相似度搜索
print(vectorstore.similarity_search(query, 1, filter=filter))

# 带有相关性分数的相似度搜索
print(vectorstore.similarity_search_with_score(query, 1))

# 带有相关性分数和过滤器的相似度搜索
print(vectorstore.similarity_search_with_score(query, 1, filter=filter))

# 最大边际相关性搜索
print(vectorstore.max_marginal_relevance_search(query, 1, fetch_k=20, lambda_mult=0.5))

# 带有过滤器的最大边际相关性搜索
print(
    vectorstore.max_marginal_relevance_search(
        query, 1, fetch_k=20, lambda_mult=0.5, filter=filter)
    
)