深入理解內存映射：mmap 映射的背後原理以及和共享內存的差異

1. 引言

在我們探索現代計算領域的奧祕時，我們往往會發現，技術的進步不僅是對硬件和軟件的不斷革新，更是對人類思維方式的深刻影響。正如《查拉圖斯特拉如是說》中提到的：“人類的偉大不在於他是什麼，而在於他能成爲什麼。” 這句話在技術世界中同樣適用。內存映射（Memory Mapping）作爲一項關鍵的計算機技術，正是這種思維進步的具體體現。

在傳統的文件處理方法中，我們通常依賴於順序的讀寫操作來處理數據，這就像是人類沿着固定的路徑行走，每一步都留下了腳印。然而，內存映射的出現，就像是突然間開闢了一條可以瞬間到達目的地的隧道。通過將文件直接映射到進程的地址空間，內存映射允許我們像訪問普通內存一樣訪問文件數據，這大大提高了文件處理的效率和靈活性。

1.1 內存映射的定義

內存映射（Memory Mapping）是一種將文件內容映射到進程的虛擬地址空間的技術。在這種機制下，文件可以被視爲內存的一部分，從而允許程序直接對這部分內存進行讀寫操作，而無需傳統的文件 I/O 調用。這種方法不僅簡化了文件操作，還提高了處理效率。

Memory Mapping is a technique that maps the content of a file into the virtual address space of a process. Under this mechanism, the file can be treated as a part of memory, allowing programs to read and write directly to this memory area without traditional file I/O calls. This method not only simplifies file operations but also increases processing efficiency.

1.2 mmap 系統調用概述

mmap 是實現內存映射的關鍵系統調用。它創建了文件內容和進程地址空間之間的直接映射，使得文件的一部分或全部可以直接映射到進程的地址空間中。這樣，文件的讀寫就變得像內存訪問一樣高效。

The mmap system call is crucial for implementing memory mapping. It creates a direct mapping between the file content and the process's address space, allowing a part or all of the file to be directly mapped into the process's address space. As a result, reading and writing to the file become as efficient as accessing memory.

在繼續深入探索之前，我們需要理解，技術的每一次進步都是對人類思維方式的挑戰和擴展。內存映射不僅僅是一種技術手段，它更是一種思維方式的革新。如同愛因斯坦所言：“邏輯會帶你從 A 點到 B 點，想象力會帶你到任何地方。” 當我們學習和應用內存映射這樣的技術時，我們不僅是在學習一種新的編程技能，更是在擴展我們對計算和數據處理的整體理解。

2. 內存映射基礎

內存映射（Memory Mapping）作爲現代計算中的一個關鍵技術，它在文件處理和進程間通信方面發揮着至關重要的作用。通過這一技術，我們能夠以更加直觀和高效的方式處理大量數據。

2.1 內存映射的定義

內存映射是一種允許文件或設備的內存被應用程序視爲其虛擬地址空間一部分的技術。這種方法使得文件的讀寫就像內存數組的訪問一樣直接和高效。在心理學上，人們傾向於通過直接感受來理解和記憶信息。正如卡爾 · 榮格在《心理學與鍊金術》中所說：“直觀比邏輯更有力。” 內存映射正是這樣一種直觀的技術，它將抽象的文件系統操作轉化爲更爲直接的內存操作，從而使程序員能夠更加直觀地處理數據。

（Memory mapping is a technique that allows the memory of files or devices to be treated as a part of the application's virtual address space. This method makes file read and write operations as direct and efficient as accessing an array in memory.）

2.2 mmap 系統調用概述

mmap 系統調用在 Linux 和類 Unix 系統中提供了內存映射的功能。它允許程序員將整個文件或文件的一部分映射到進程的地址空間。通過這種方式，文件內容可以通過指針直接訪問，就像訪問普通的內存數組一樣，這極大地提高了文件操作的效率和直觀性。

（The mmap system call in Linux and Unix-like systems provides the functionality of memory mapping. It allows programmers to map the entire file or a part of the file into the address space of a process.）

示例代碼

#include <sys/mman.h>
#include <fcntl.h>

void *map_file(const char *filepath, size_t size) {
    int fd = open(filepath, O_RDONLY);
    if (fd == -1) {
        // 處理打開文件的錯誤
        return NULL;
    }

    void *mapped = mmap(NULL, size, PROT_READ, MAP_SHARED, fd, 0);
    if (mapped == MAP_FAILED) {
        // 處理映射失敗的錯誤
        close(fd);
        return NULL;
    }

    close(fd);
    return mapped;
}

在這段代碼中，我們打開了一個文件並使用 mmap 將其映射到內存。這樣，我們就可以直接通過返回的指針來訪問文件內容，而不需要進行傳統的文件讀寫操作。

2.3 mmap 系統調用和直接使用 IPC 共享內存之間的差異

mmap 系統調用用於將文件映射到進程的地址空間中，而共享內存是一種不同的機制，用於進程間通信。這兩種方法都用於數據共享和高效的內存訪問，但它們有一些關鍵區別：

  1. 數據源和持久化:
  1. 使用場景:
  1. 性能和效率:
  1. 同步和一致性:

簡而言之，mmap 主要用於將文件映射到內存以提高文件操作的效率，而共享內存主要用於進程間的高效數據交換。二者雖有相似之處，但各自適用於不同的應用場景。

3. mmap 與文件 I/O

在討論 mmap 與傳統文件 I/O 的區別時，我們不僅在探討技術的細節，實際上也是在探索人類思維模式和對效率追求的反映。這一章節會詳細講述這兩種技術的差異，以及 mmap 如何優化我們的程序性能。

3.1. 傳統文件 I/O 的侷限性

傳統文件 I/O 操作，比如 read 和 write，雖然直觀易懂，但它們有一定的侷限性。每次讀寫操作都需要從用戶空間切換到內核空間，這導致額外的上下文切換開銷，特別是在頻繁的小規模讀寫操作中，這種開銷尤爲明顯。

“正如亞里士多德在《形而上學》中所說：‘整體大於部分之和’”。這句話在這裏的意義是：一個高效的系統，其性能不僅僅取決於單個部分的效率，還取決於各部分之間的協同和整合。

3.2. mmap 的優勢

當你使用 mmap 將文件映射到進程的地址空間時，之後的數據訪問就不再涉及傳統的文件 I/O 操作（如 read 和 write 調用）。這是因爲 mmap 通過映射，使得文件的內容可以直接通過內存訪問。這裏是 mmap 背後的原理和工作方式：

  1. 內存映射（Memory Mapping）:
  1. 虛擬內存與物理內存:
  1. 延遲加載（Lazy Loading）:
  1. 頁面緩存（Page Caching）:
  1. 寫時複製（Copy-On-Write）:
  1. 數據同步:
  1. 性能優勢:

總的來說，mmap 通過創建文件內容和虛擬內存之間的直接映射，使得對文件的訪問變得更加高效，尤其是在需要頻繁訪問或處理大文件的場景中。通過利用操作系統的虛擬內存管理和頁面緩存機制，mmap 提供了一種與傳統文件 I/O 相比更爲高效的數據訪問方式。

就像康德在《純粹理性批判》中提到的：“我們通過不斷的探索和實踐，理解了事物的本質”。同樣，通過 mmap，我們更深入地理解了文件數據的處理方式，找到了更高效的路徑。

3.2.1. 效率比較

10nDoO

###3.3. mmap 的使用場景

mmap（內存映射）機制在多種場景中都非常適用，尤其是在需要高效處理大型文件或頻繁進行文件訪問的情況下。以下是 mmap 機制適用的一些典型場景的詳細描述：

  1. 處理大型文件:
  1. 高效的文件隨機訪問:
  1. 共享內存和進程間通信（IPC）:
  1. 文件映射的數據庫和緩存系統:
  1. 內存映射的文件編輯:
  1. 多媒體處理和大型數據集分析:
  1. 文件系統操作的優化:
  1. 動態鏈接庫（DLLs）和可執行文件的加載:

3.3.1 針對進程間通訊的場景權衡

在用於進程間通信（IPC）的場景中，mmap（內存映射）和共享內存各有其優勢。選擇使用哪一種技術取決於具體的應用需求和環境。以下是它們各自的優勢和權衡考慮：

mmap 優勢：

  1. 文件持久化：
  1. 高效的大文件處理：
  1. 簡化的數據訪問：
  1. 系統優化：

共享內存優勢：

  1. 效率：
  1. 實時性：
  1. 靈活的數據共享：
  1. 無需文件系統：

權衡考慮：

  1. 數據持久化需求：
  1. 文件大小和訪問模式：
  1. 同步機制：

4. 環境和平臺：

  1. 數據安全性和一致性：

關於共享內存和文件映射（如 mmap 使用的文件映射）在實時性方面的比較，需要一些澄清。

共享內存和文件映射都提供了對同一內存區域的直接訪問，但它們在底層實現和適用場景上有所不同：

共享內存:

文件映射（mmap）:

實時性的比較

總結來說，共享內存在需要極低延遲的實時應用中更具優勢，而 mmap 更適用於需要處理大型文件、需要數據持久化或者頻繁訪問文件的場景。然而，這種比較並非絕對，實際選擇應根據具體應用的需求和環境來決定。、

4. 內存映射的工作原理（How Memory Mapping Works）

在探討內存映射的工作原理時，我們深入其技術細節的同時，也會觸及人類對複雜系統的理解和管理方式，這反映了我們對世界和知識的深刻洞察。

4.1. 虛擬內存與物理內存（Virtual and Physical Memory）

內存映射的核心在於理解虛擬內存（Virtual Memory）和物理內存（Physical Memory）的關係。虛擬內存是一個抽象層，它爲應用程序提供了一種看似無限的內存感覺，而物理內存則是計算機中實際的存儲硬件。這種抽象反映了人類對複雜性的管理方式——通過抽象化簡化複雜系統，正如弗朗西斯 · 培根（Francis Bacon）在《新工具》中所說：“分割和征服，是知識的真正途徑。”（"Divide and conquer, is the true method of knowledge."）

在 mmap 的使用中，文件被映射到進程的虛擬地址空間。操作系統負責將這些虛擬地址映射到物理內存地址。當進程訪問這些虛擬地址時，操作系統會根據需要將數據從磁盤加載到物理內存中。

4.2. 延遲加載和頁面緩存（Lazy Loading and Page Caching）

延遲加載（Lazy Loading）是 mmap 的一個關鍵特性。它意味着文件數據只有在實際被訪問時才加載到內存中，這反映了一種節約和高效的資源管理策略。頁面緩存（Page Caching）則是操作系統用於提高訪問效率的機制。它保留了最近使用的數據頁，減少了對磁盤的重複訪問。

這種策略與人類面對複雜任務時的處理方式相似：我們通常不會一次性處理所有信息，而是根據需要逐步處理，就像塞繆爾 · 約翰遜（Samuel Johnson）在《文學評論家》中所述：“知識就像是遠足中的行李，應當僅攜帶所需。”（"Knowledge is of two kinds. We know a subject ourselves, or we know where we can find information upon it."）

頁面緩存的機制

4pG7sq

4.3. 寫時複製機制（Copy-On-Write Mechanism）

寫時複製（Copy-On-Write, COW）是 mmap 在處理共享內存時採用的一種策略。當多個進程映射同一文件時，他們共享相同的物理內存頁。一旦某個進程需要修改這些頁，系統會爲該進程創建該頁的副本，確保其他進程的視圖保持不變。這反映了在複雜環境中維持穩定和一致性的需求，正如亞里士多德在《尼各馬科倫理學》中所說：“在變化中尋找恆定，是理解自然的關鍵。”（"In all things of nature there is something of the marvelous."）

寫時複製的應用

例如，以下是 mmap 使用寫時複製策略的一個代碼示例：

// 映射文件
char *mapped = mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);

// 修改數據
mapped[0] = 'A'; // 這裏會觸發寫時複製

這段代碼展示瞭如何通過 mmap 映射文件，並在修改映射的內存時觸發寫時複製機制。注意，代碼中的註釋幫助理解其運作方式。

5. 內存管理和安全性（Memory Management and Security）

在深入探索內存映射的世界時，我們不僅遇到技術挑戰，還觸及到人類思維的邊界。內存管理和安全性是理解和運用 mmap 不可或缺的一環，它們不僅涉及技術細節，更反映了我們對於複雜系統的理解和掌控能力。

5.1. 用戶空間與內核空間的隔離（Separation of User Space and Kernel Space）

mmap 映射的區域位於用戶空間，而不是內核空間。用戶空間和內核空間在現代操作系統中是嚴格分離的，這是一種重要的安全和穩定性機制。以下是一些關鍵點：

用戶空間與內核空間分離:

內存越界訪問:

操作系統的保護機制:

內核空間的保護:

總的來說，通過 mmap 映射的內存區域完全位於用戶空間，而與內核空間的訪問是嚴格隔離的。因此，即使發生越界訪問，也不可能影響到內核空間。這是現代操作系統設計的重要安全特性之一。

5.2 內存越界的風險及其防範（Risks and Prevention of Memory Overflow）

使用 mmap 系統調用映射文件到內存時，映射的空間大小是固定的，並且由映射時指定的參數決定。這意味着，當你映射一個文件時，你需要指定映射區域的大小。映射區域的大小通常與你想要訪問的文件內容大小相匹配。在這種機制下，存在幾個關鍵的注意點：

映射空間大小:

內存越界風險:

動態調整映射區域:

虛擬地址空間限制:

內存管理:

總之，在使用 mmap 時，映射區域的空間是固定的，並且必須謹慎管理對映射內存的訪問，以避免越界和其他潛在的內存錯誤。正確使用時，mmap 可以有效地提高文件操作的性能，特別是在處理大型文件時。

5.3 內存映射的安全性措施（Security Measures in Memory Mapping）

內存映射雖然強大，但在安全性方面需要特別的考慮。這不僅是技術問題，更是對我們處理信息和保護關鍵資源能力的考驗。

6. mmap 的長期使用考慮

6.1 緩存機制和性能

6.1.1 頁面緩存的運作方式

頁面緩存（Page Cache）在 mmap 使用中起着至關重要的角色。它類似於人類大腦中的短期記憶，能夠快速回憶近期訪問過的信息。當我們使用 mmap 映射文件時，操作系統會將文件數據存儲在頁面緩存中。這種機制使得再次訪問相同數據時，我們可以直接從內存中獲取，而不需要再次從磁盤讀取。

在代碼層面上，這可以通過檢查 mmap 映射的文件區域是否已經存在於頁面緩存中來理解。例如，Linux 內核源碼中的 filemap_fault 函數是處理頁面緩存的一個關鍵點。

// Linux內核源碼片段：處理文件映射的頁面緩存
static int filemap_fault(struct vm_area_struct *vma, struct vm_fault *vmf)
{
    int ret;
    struct file *file = vma->vm_file;
    struct address_space *mapping = file->f_mapping;

    // ... 省略代碼 ...

    ret = do_read_fault(vmf, file, mapping);

    // ... 省略代碼 ...

    return ret;
}

這個函數的工作是在訪問 mmap 映射的內存區域時檢查相應的頁面是否已經加載到內存中。

6.1.2 緩存對性能的影響

頁面緩存如何影響性能，類似於我們如何利用經驗來提高決策效率。通過避免重複的磁盤訪問，頁面緩存顯著提高了數據訪問的速度。這種效率的提高對於處理大型文件或頻繁訪問的文件來說尤爲重要。然而，這也要求我們必須合理管理內存資源，以免緩存佔用過多內存，導致系統資源緊張。 儘管 mmap 在初始階段可能涉及磁盤讀取（如果所需數據不在頁緩存中），但在後續的讀取中，其效率會有所提高，但不一定與共享內存完全相同。這裏是兩者之間的比較：

mmap 的後續讀取效率：

利用頁緩存：

依賴於緩存命中率：

可能的緩存淘汰：

共享內存的效率：

恆定的高效率：

適用於高實時性要求：

效率比較：

總結來說，mmap 在經歷了初次磁盤讀取並將數據加載到頁緩存後，其效率會顯著提高，但由於依賴於操作系統的緩存管理，它的性能可能不如共享內存那樣穩定和一致。選擇使用哪種技術取決於應用的具體需求。

6.2 數據同步和一致性

在長期運行的應用中，數據的同步和一致性是一個不可忽視的話題。它就像我們生活中的信任機制，需要確保信息的準確性和可靠性。當使用 mmap 對文件進行更改時，這些更改最初只存在於內存中。爲了確保數據的持久性和一致性，必須將這些更改同步回磁盤文件。在 Linux 系統中，msync 函數被用於手動同步映射區域的數據到文件中。

// 使用msync同步映射區域的數據到文件
int msync(void *addr, size_t length, int flags);

6.3 系統資源管理

長期使用 mmap 還涉及到對系統資源的管理，這與我們如何平衡生活中的資源

分配有着異曲同工之妙。操作系統會根據當前的內存使用情況來管理頁面緩存。當系統內存壓力增大時，可能需要從緩存中移除一些數據，以釋放內存。這就要求我們在使用 mmap 時，要有意識地考慮其對系統整體性能的影響。

在編程實踐中，這意味着我們需要監控內存使用情況，並適時調整我們的內存使用策略，以確保系統的整體性能和穩定性。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/JSH2xwTGZUDSIKUVDRE_1g

猜你喜歡