当前位置：网站首页 > 技术资源 > 正文

Langchain支持SKLearnVectorStore存储

off999 2024-10-10 07:50 28 浏览 0 评论

scikit-learn是开源的机器学习算法python库，尤其那个K-近邻算法(K-Nearest Neighbors)更是“家喻户晓”,现在langchain的向量存储也支持SKLearnVectorStore，下面我们来看看怎么使用

1.安装环境

pip install scikit-learn #sk算法库

pip install pandas pyarrow #需要对parquet格式支持

2.如何使用sk-vectorstore

import os

from langchain.embeddings import HuggingFaceEmbeddings

from langchain.text_splitter import CharacterTextSplitter

#引入SKLearnVectorStore

from langchain.vectorstores import SKLearnVectorStore

from langchain.document_loaders import TextLoader

##文件切割

loader = TextLoader('./data/data_c.txt')

documents = loader.load()

text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)

docs = text_splitter.split_documents(documents)

##向量化model

embeddings = HuggingFaceEmbeddings()

import tempfile

persist_path = os.path.join(tempfile.gettempdir(), 'data_c.parquet')

#创建SKLearnVectorStore

vector_store = SKLearnVectorStore.from_documents(

documents=docs,

embedding=embeddings,

persist_path=persist_path,#持久化目录

serializer='parquet' #存储格式parquet

)

#查询

query = "What did the president say about Ketanji Brown Jackson"

docs = vector_store.similarity_search(query)

print(docs[0].page_content)

##持久化

vector_store.persist()

print('Vector store was persisted to', persist_path)

#加载之前持久化的数据

vector_store_load = SKLearnVectorStore(

embedding=embeddings,

persist_path=persist_path,

serializer='parquet'

)

print('A new instance of vector store was loaded from', persist_path)

#查询

docs = vector_store_load.similarity_search(query)

print(docs[0].page_content)

#清理数据

os.remove(persist_path)

python安装sklearn

上一篇：机器学习库-sklearn（机器学习库sklearn）
下一篇：【Python机器学习系列】sklearn机器学习模型的保存---joblib法

Langchain支持SKLearnVectorStore存储

相关推荐

取消回复欢迎你发表评论:

抖音上好看的小姐姐，Python给你都下载了

全网最简单易懂!495页Python漫画教程，高清PDF版免费下载

Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!

python入门到脱坑输入与输出—str()函数

宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）

Python三目运算基础与进阶_python三目运算符判断三个变量

(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享

慕ke 前端工程师2024「完整」

失业程序员复习python笔记——条件与循环

飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx

Langchain支持SKLearnVectorStore存储

相关推荐

取消回复欢迎 你 发表评论:

抖音上好看的小姐姐，Python给你都下载了

全网最简单易懂!495页Python漫画教程，高清PDF版免费下载

Python 3.14 的 UUIDv6/v7/v8 上新，别再用 uuid4 () 啦!

python入门到脱坑 输入与输出—str()函数

宝塔面板如何添加免费waf防火墙?（宝塔面板开启https）

Python三目运算基础与进阶_python三目运算符判断三个变量

(新版)Python 分布式爬虫与 JS 逆向进阶实战吾爱分享

慕ke 前端工程师2024「完整」

失业程序员复习python笔记——条件与循环

飞牛NAS部署TVGate Docker项目，实现内网一键转发、代理、jx

取消回复欢迎你发表评论:

python入门到脱坑输入与输出—str()函数