text2sql 工具:Vanna 介紹與安裝
一、什麼是 Vanna
Vanna 是一個開源的 Python RAG(Retrieval-Augmented Generation,檢索增強生成)框架,用於將自然語言問題轉換爲精確的 SQL 查詢,並在數據庫上執行這些查詢以返回結果和可視化圖表。
比如你提問:查詢年齡 25 歲以上的人員清單。
Vanna 就可以將其轉爲 sql 語句。
二、Vanna 的工作原理
- 訓練 RAG 模型
-
數據準備:導入數據庫的元數據(如表結構 DDL 語句)、文檔(如業務術語解釋)和示例 SQL 查詢。
-
向量化存儲:將上述數據轉換爲向量並存儲在本地向量數據庫(如 ChromaDB)中。
- 生成 SQL
-
用戶輸入自然語言問題後,Vanna 從向量庫中檢索相關上下文,結合 LLM(如 GPT-4、Qwen、DeepSeek 等)生成 SQL 語句。
-
生成的 SQL 可自動執行並返回結果,支持數據可視化(如圖表展示)
以下是 Vanna 的整體工作原理:
三、Vanna 的環境配置
3.1 創建屬於 vanna 的虛擬環境
在這裏選擇了 python3.11.x 的版本。
conda create -n my_vanna python==3.11.9
3.2 安裝 vanna 環境依賴
pip install vanna[chromadb,mysql]
由於我們採用 openai 接口的方式使用 vanna,因此需要安裝 openai 庫。
pip install openai
經過以上配置,我們就可以通過 vanna 來生成 sql 了。
注意:以上通過 pip 安裝過程中涉及到其他依賴庫的安裝,因此建議通過在線方式進行安裝。
涉及到的環境:
annotated-types 0.7.0
anyio 4.8.0
asgiref 3.8.1
attrs 25.1.0
backoff 2.2.1
bcrypt 4.2.1
blinker 1.9.0
build 1.2.2.post1
cachetools 5.5.1
certifi 2025.1.31
charset-normalizer 3.4.1
chroma-hnswlib 0.7.6
chromadb 0.6.3
click 8.1.8
colorama 0.4.6
coloredlogs 15.0.1
Deprecated 1.2.18
distro 1.9.0
durationpy 0.9
fastapi 0.115.8
filelock 3.17.0
flasgger 0.9.7.1
Flask 3.1.0
flask-sock 0.7.0
flatbuffers 25.2.10
fsspec 2025.2.0
google-auth 2.38.0
googleapis-common-protos 1.67.0
greenlet 3.1.1
grpcio 1.70.0
h11 0.14.0
httpcore 1.0.7
httptools 0.6.4
httpx 0.28.1
huggingface-hub 0.29.0
humanfriendly 10.0
idna 3.10
importlib_metadata 8.5.0
importlib_resources 6.5.2
itsdangerous 2.2.0
Jinja2 3.1.5
jiter 0.8.2
jsonschema 4.23.0
jsonschema-specifications 2024.10.1
kaleido 0.2.1
kubernetes 32.0.1
markdown-it-py 3.0.0
MarkupSafe 3.0.2
mdurl 0.1.2
mistune 3.1.2
mmh3 5.1.0
monotonic 1.6
mpmath 1.3.0
narwhals 1.27.1
numpy 2.2.3
oauthlib 3.2.2
onnxruntime 1.20.1
openai 1.63.2
opentelemetry-api 1.30.0
opentelemetry-exporter-otlp-proto-common 1.30.0
opentelemetry-exporter-otlp-proto-grpc 1.30.0
opentelemetry-instrumentation 0.51b0
opentelemetry-instrumentation-asgi 0.51b0
opentelemetry-instrumentation-fastapi 0.51b0
opentelemetry-proto 1.30.0
opentelemetry-sdk 1.30.0
opentelemetry-semantic-conventions 0.51b0
opentelemetry-util-http 0.51b0
orjson 3.10.15
overrides 7.7.0
packaging 24.2
pandas 2.2.3
pip 25.0
plotly 6.0.0
posthog 3.14.1
protobuf 5.29.3
pyasn1 0.6.1
pyasn1_modules 0.4.1
pydantic 2.10.6
pydantic_core 2.27.2
Pygments 2.19.1
PyMySQL 1.1.1
PyPika 0.48.9
pyproject_hooks 1.2.0
pyreadline3 3.5.4
python-dateutil 2.9.0.post0
python-dotenv 1.0.1
pytz 2025.1
PyYAML 6.0.2
referencing 0.36.2
requests 2.32.3
requests-oauthlib 2.0.0
rich 13.9.4
rpds-py 0.22.3
rsa 4.9
setuptools 75.8.0
shellingham 1.5.4
simple-websocket 1.1.0
six 1.17.0
sniffio 1.3.1
SQLAlchemy 2.0.38
sqlparse 0.5.3
starlette 0.45.3
sympy 1.13.3
tabulate 0.9.0
tenacity 9.0.0
tokenizers 0.21.0
tqdm 4.67.1
typer 0.15.1
typing_extensions 4.12.2
tzdata 2025.1
urllib3 2.3.0
uvicorn 0.34.0
vanna 0.7.6
watchfiles 1.0.4
websocket-client 1.8.0
websockets 15.0
Werkzeug 3.1.3
wheel 0.45.1
wrapt 1.17.2
wsproto 1.2.0
zipp 3.21.0
四、Vanna 的環境配置
4.1 註冊 vanna 的 API
官網地址如下:
https://vanna.ai/
僅需通過 email 就可以免費註冊,然後到個人中心去找到自己的 api key。
註冊之後,每天享有 100K 的免費 Token。
4.2 vanna 在線測試
根據官網給的示例,我們只需要傳遞自己的 apikey 就可以進行測試。
import vanna
from vanna.remote import VannaDefault
vn = VannaDefault(model='chinook', api_key='6474fcc9348a48feb0c997c707c2004b')
vn.connect_to_sqlite('https://vanna.ai/Chinook.sqlite')
vn.ask("What are the top 10 albums by sales?")
測試結果如下,可以看到利用 vanna 自己的服務器和數據庫能夠成功獲得 sql 語句與 sql 結果。(API 已失效,自己可以免費申請)
4.3 vanna 私有化測試
本地 mysql 數據庫的 user 表:
通過代碼測試,可以看到能夠成功提取年齡大於 30 歲的用戶。
本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源:https://mp.weixin.qq.com/s/Xg7e9rXWvlW97UVev4B40A