用 Rust 製作一個小型搜索引擎

用 Rust 創建搜索引擎是探索該語言在性能和安全性方面具有優勢的絕佳方式。

這個項目將索引和搜索概念轉移到 Rust 的生態系統中，由於 Rust 獨特的語法和範式，這是一個挑戰，但也是有益的。

構建搜索引擎

步驟 1，創建項目

使用如下命令創建一個 Rust 新項目：

cargo new shrimp_engine
cd shrimp_engine
code .

步驟 2，加入依賴項

需要一些 crate 來幫助解析和數據處理。例如：

tantivy：用於索引和搜索文本 (類似於 Java 世界中的 Lucene)
serde 和 serde_json：用於 JSON 解析

將這兩個庫加入到 Cargo.toml 文件中：

[dependencies]
tantivy = "0.17"
serde = "1.0"
serde_json = "1.0"

步驟 3，定義數據結構

定義我們要索引的文檔的結構。定義一個簡單的結構體，它表示帶有標題和正文的文檔。

use serde::{Serialize, Deserialize};

#[derive(Serialize, Deserialize, Debug)]
struct Document {
    title: String,
    body: String,
}

步驟 4，創建索引

使用 tantivy，根據數據結構創建索引模式，然後將文檔添加到索引中。

use tantivy::{doc, schema::*, Index};

fn create_index() -> Index {
    // 定義Schema
    let mut schema_builder = Schema::builder();
    schema_builder.add_text_field("title", TEXT | STORED);
    schema_builder.add_text_field("body", TEXT);
    let schema = schema_builder.build(); // 在目錄中創建索引
    let index = Index::create_in_ram(schema.clone()); // 獲取索引寫入器
    let mut index_writer = index.writer(50_000_000).unwrap(); // 添加文檔
    let title = schema.get_field("title").unwrap();
    let body = schema.get_field("body").unwrap();
    let doc = doc!(title => "Example Title", body => "This is the body of the document.");
    let _ = index_writer.add_document(doc); // 將文檔提交到索引
    let _ = index_writer.commit();
    index
}

Schema 定義索引的結構，指定應該索引哪些字段 (這裏是標題和正文) 以及如何 (例如，存儲、文本分析) 創建一個內存索引，並將文檔添加到該索引中。添加的每個文檔都由 Document 結構體定義，然後對其進行序列化以進行索引。將更改提交到索引中，使其可搜索。

步驟 5，搜索

實現一個搜索索引的函數。我們需要創建一個搜索器和查詢解析器。

use tantivy::query::QueryParser;
use tantivy::collector::TopDocs;

fn search_index(index: &Index, query_str: &str) -> tantivy::Result<()> {
    let reader = index.reader()?;
    let searcher = reader.searcher();
    let schema = index.schema();
    let title = schema.get_field("title").unwrap();
    let body = schema.get_field("body").unwrap();
    let query_parser = QueryParser::for_index(index, vec![title, body]);
    let query = query_parser.parse_query(query_str)?;
    let top_docs = searcher.search(&query, &TopDocs::with_limit(10))?;
    for (_, doc_address) in top_docs {
        let retrieved_doc = searcher.doc(doc_address)?;
        println!("{:?}", retrieved_doc);
    }
    Ok(())
}

步驟 6，測試搜索引擎，修改 main 函數

fn main() -> Result<(), TantivyError> {
    println!("Hello, Shrimp!");

    // 創建索引並存儲它
    let index = create_index();

    // 在創建的索引中搜索
    search_index(&index, "Example")?;

    Ok(())
}

運行結果如下：

Hello, Shrimp!
Document { field_values: [FieldValue { field: Field(0), value: Str("Example Title") }] }

tantivy crate 中的組件用於構建搜索引擎的核心功能，從創建索引到查詢索引。

搜索引擎的核心機制

1，索引讀取器和搜索器：

爲了搜索索引，將實例化一個索引讀取器，創建一個能夠對索引執行查詢的搜索器。

2，查詢解析和執行

查詢解析器解釋查詢的字符串，並根據已定義的 Schema 將其轉換爲查詢對象。然後，搜索者使用該查詢來查找相關文檔並對其進行排序。

3，檢索和顯示結果

檢索並顯示最匹配的文檔 (在一定範圍內)。基於搜索查詢、提取和審查索引內容。

總結

本示例旨在爲你提供構建搜索引擎的起點。Rust 的所有權和併發模型，以及它的類型系統，爲構建更復雜和高性能的搜索引擎提供了堅實的基礎。

我們可以通過添加實時索引、高級文本處理和自定義評分算法等特性來擴展這個項目。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/P6WWEvJZ01tya2KIPFrhXg

猜你喜歡