 |  |
 |
2005 年 9 月 日志文件系統(tǒng)可以在系統(tǒng)發(fā)生斷電或者其它系統(tǒng)故障時保證整體數(shù)據(jù)的完整性，Linux是目前支持日志文件系統(tǒng)最多的操作系統(tǒng)之一，本文重點研究了Linux常用的日志文件系統(tǒng)：EXT3、ReiserFS、XFS和JFS日志技術(shù)，并采用標準的測試工具PostMark和Bonnie++對它們進行了測試，給出了詳細的性能分析，對Linux服務(wù)器應(yīng)用具有重要的參考價值。 所謂日志文件系統(tǒng)是在傳統(tǒng)文件系統(tǒng)的基礎(chǔ)上，加入文件系統(tǒng)更改的日志記錄，它的設(shè)計思想是：跟蹤記錄文件系統(tǒng)的變化，并將變化內(nèi)容記錄入日志。日志文件系統(tǒng)在磁盤分區(qū)中保存有日志記錄，寫操作首先是對記錄文件進行操作，若整個寫操作由于某種原因(如系統(tǒng)掉電)而中斷，系統(tǒng)重啟時，會根據(jù)日志記錄來恢復(fù)中斷前的寫操作。在日志文件系統(tǒng)中，所有的文件系統(tǒng)的變化都被記錄到日志，每隔一定時間，文件系統(tǒng)會將更新后的元數(shù)據(jù)及文件內(nèi)容寫入磁盤。在對元數(shù)據(jù)做任何改變以前，文件系統(tǒng)驅(qū)動程序會向日志中寫入一個條目，這個條目描述了它將要做些什么，然后它修改元數(shù)據(jù)。目前Linux的日志文件系統(tǒng)主要有：在Ext2基礎(chǔ)上開發(fā)的Ext3，根據(jù)面向?qū)ο笏枷朐O(shè)計的ReiserFS，由SGI IRIX系統(tǒng)移植過來的XFS，由IBM AIX系統(tǒng)移植過來的JFS，其中EXT3完全兼容EXT2，其磁盤結(jié)構(gòu)和EXT2完全一樣，只是加入日志技術(shù)；而后三種文件系統(tǒng)廣泛使用了B樹以提高文件系統(tǒng)的效率。
Ext3文件系統(tǒng)是直接從Ext2文件系統(tǒng)發(fā)展而來，目前Ext3文件系統(tǒng)已經(jīng)非常穩(wěn)定可靠，它完全兼容Ext2文件系統(tǒng)，用戶可以平滑地過渡到一個日志功能健全的文件系統(tǒng)。Ext3日志文件系統(tǒng)的思想就是對文件系統(tǒng)進行的任何高級修改都分兩步進行。首先，把待寫塊的一個副本存放在日志中；其次，當發(fā)往日志的I/O 數(shù)據(jù)傳送完成時（即數(shù)據(jù)提交到日志），塊就寫入文件系統(tǒng)。當發(fā)往文件系統(tǒng)的I/O 數(shù)據(jù)傳送終止時（即數(shù)據(jù)提交給文件系統(tǒng)），日志中的塊副本就被丟棄。 Ext3既可以只對元數(shù)據(jù)做日志，也可以同時對文件數(shù)據(jù)塊做日志。具體來說，Ext3提供以下三種日志模式：
Ext3 文件系統(tǒng)本身不處理日志，而是利用日志塊設(shè)備（Journaling Block Device）或叫JBD 的通用內(nèi)核層。Ext3文件系統(tǒng)調(diào)用JDB例程以確保在系統(tǒng)萬一出現(xiàn)故障時它的后續(xù)操作不會損壞磁盤數(shù)據(jù)結(jié)構(gòu)。Ext3 與JDB 之間的交互本質(zhì)上基于三個基本單元：日志記錄，原子操作和事務(wù)。 日志記錄本質(zhì)上是文件系統(tǒng)將要發(fā)出的低級操作的描述。在某些日志文件系統(tǒng)中，日志記錄只包括操作所修改的字節(jié)范圍及字節(jié)在文件系統(tǒng)中的起始位置。然而，JDB 層使用的日志記錄由低級操作所修改的整個緩沖區(qū)組成。這種方式可能浪費很多日志空間（例如，當?shù)图壊僮鲀H僅改變位圖的一個位時），但是，它還是相當快的，因為JBD 層直接對緩沖區(qū)和緩沖區(qū)首部進行操作。 修改文件系統(tǒng)的任一系統(tǒng)調(diào)用都通常劃分為操縱磁盤數(shù)據(jù)結(jié)構(gòu)的一系列低級操作。如果這些低級操作還沒有全部完成系統(tǒng)就意外宕機，就會損壞磁盤數(shù)據(jù)。為了防止數(shù)據(jù)損壞，Ext3文件系統(tǒng)必須確保每個系統(tǒng)調(diào)用以原子的方式進行處理。原子操作是對磁盤數(shù)據(jù)結(jié)構(gòu)的一組低級操作，這組低級操作對應(yīng)一個單獨的高級操作。 出于效率的原因，JBD 層對日志的處理采用分組的方法，即把屬于幾個原子操作處理的日志記錄分組放在一個單獨的事務(wù)中。此外，與一個處理相關(guān)的所有日志記錄都必須包含在同一個事務(wù)中。一個事務(wù)的所有日志記錄都存放在日志的連續(xù)塊中。JBD層把每個事務(wù)作為整體來處理。例如，只有當包含在一個事務(wù)的日志記錄中的所有數(shù)據(jù)提交給文件系統(tǒng)時才回收該事務(wù)所使用的塊。
ReiserFS是一個非常優(yōu)秀的文件系統(tǒng)，其開發(fā)者非常有魄力，整個文件系統(tǒng)完全是從頭設(shè)計的。目前，ReiserFS可輕松管理上百G的文件系統(tǒng)，這在企業(yè)級應(yīng)用中非常重要。ReiserFS 是根據(jù)面向?qū)ο蟮乃枷朐O(shè)計的，由語義層（semantic layer)和存儲層（storage layer)組成。語義層主要是對對象命名空間的管理及對象接口的定義，以確定對象的功能。存儲層主要是對磁盤空間的管理。語義層與存儲層是通過鍵（key）聯(lián)系的。語義層通過對對象名進行解析生成鍵，存儲層通過鍵找到對象在磁盤上存儲空間，鍵值是全局唯一的。 1) 文件接口 每個文件擁有一個接口ID，此ID標識一個方法集，此方法集包含訪問ReiserFS 文件的所有接口。 2) 屬性接口 ReiserFS實現(xiàn)了一種新接口，把文件的每一種屬性當做一個文件，屬性的值就是此文件的內(nèi)容，以實現(xiàn)對文件屬性的目錄式訪問。 3) hash接口 目錄是文件名到文件的映射表，ReiserFS是通過B＋樹來實現(xiàn)這張映射表。由于文件名是變長的，而且有時文件名會很長，所以文件名不適合作為鍵值，故引入了Hash函數(shù)來產(chǎn)生鍵值。 4) 安全接口 安全接口處理所有的安全性檢查，通常是由文件接口觸發(fā)的。下面以讀文件為例：文件接口的read 方法在讀入文件數(shù)據(jù)之前會調(diào)用安全接口的read chech 方法來來進行安全性檢查,而后者又會調(diào)用屬性文件的read方法把文件屬性讀入以便檢查。 5) 項（Item）接口 項接口主要是一些對項進行平衡處理的方法，包括：項的拆分，項的評估，項的覆寫，項的追加，項的刪除，插入及查找。 6) 鍵分配（key Assignment）接口 當把一個鍵分配給一個項時，鍵分配接口就會被觸發(fā)。每一種項都有一個與其對應(yīng)的鍵分配方法。 ReiserFS是以B+樹來存儲數(shù)據(jù)的,其結(jié)構(gòu)如圖： 圖1：ReiserFS B+ 樹  在B+樹中的各個結(jié)點中有一個稱為項（Item）的數(shù)據(jù)結(jié)構(gòu)。項是一個數(shù)據(jù)容器，一個項只屬于一個結(jié)點，是結(jié)點管理空間的基本單位。如圖所示，一個項包括以下內(nèi)容： 1) Item_body：項的數(shù)據(jù)域 2) Item_key： 項的鍵值 3) Item_offset：數(shù)據(jù)域的起點在結(jié)點中的偏移量 4) Item_length： 數(shù)據(jù)域的長度 5) Item_Plugin_id：項接口ID。 圖2： ReiserFS 項結(jié)構(gòu) ReiserFS設(shè)計了多種不同的項以存儲不同的數(shù)據(jù)，主要有以下幾種： 1) static_stat_data： 靜態(tài)統(tǒng)計數(shù)據(jù)，包括文件的所有者，訪問權(quán)限，創(chuàng)建時間，最近修改時間，鏈接數(shù)等 2) cmpnd_dir_item： 包含各個目錄項 3) extend_pointers： 指向一個盤區(qū)（extend） 4) node_pointers： 指向一個結(jié)點 5) bodies： 包含的是文件的小部分數(shù)據(jù) 與ext3一樣，ReiserFS也有三種日志模式，即journal,ordered,writeback。同時，ReiserFS引入了兩種日志優(yōu)化方法：copy-on-capture和steal-on-capture。copy-on-capture:當一個事務(wù)要修改的塊在另一個未提交的事務(wù)中時，就把這個塊復(fù)制一份，這樣這兩個事務(wù)就可以并發(fā)進行了。steal-on-capture：當一個塊被多個事務(wù)修改時，只有最晚提交的那個事務(wù)才把這個塊實際寫入文件系統(tǒng)，其他事務(wù)都不寫這個塊。
XFS 是一種高性能的64 位文件系統(tǒng)，由SGI 公司為了替代原有的EFS 文件系統(tǒng)而開發(fā)的。XFS 通過保持cache 的一致性、定位數(shù)據(jù)和分布處理磁盤請求來提供對文件系統(tǒng)數(shù)據(jù)的低延遲、高帶寬的訪問。目前SGI已經(jīng)將XFS文件系統(tǒng)從IRIX移植到Linux。 當創(chuàng)建 XFS 文件系統(tǒng)時，底層塊設(shè)備被分割成八個或更多個大小相等的線性區(qū)域（region），用戶可以將它們想象成"塊"（chunk）或者"線性范圍（range）"，在 XFS 中，每個區(qū)域稱為一個"分配組"。分配組是唯一的，因為每個分配組管理自己的索引節(jié)點（inode）和空閑空間，實際上是將這些分配組轉(zhuǎn)化為一種文件子系統(tǒng)，這些子系統(tǒng)透明地存在于 XFS 文件系統(tǒng)內(nèi)。有了分配組，XFS 代碼將允許多個線程和進程持續(xù)以并行方式運行，即使它們中的許多線程和進程正在同一文件系統(tǒng)上執(zhí)行大規(guī)模 IO 操作。因此，將 XFS 與某些高端硬件相結(jié)合，將獲得高性能而不會使文件系統(tǒng)成為瓶頸。分配組在內(nèi)部使用高效的 B+樹來跟蹤主要數(shù)據(jù)，具有優(yōu)越性能和極大的可擴展性。 XFS 也是一種日志記錄文件系統(tǒng)，它允許意外重新引導(dǎo)后的快速恢復(fù)。象 ReiserFS 一樣，XFS 使用邏輯日志；它不象 ext3 那樣將文字文件系統(tǒng)塊記錄到日志，而是使用一種高效的磁盤格式來記錄元數(shù)據(jù)的變動。就 XFS 而言，邏輯日志記錄是很適合的；在高端硬件上，日志經(jīng)常是整個文件系統(tǒng)中爭用最多的資源。通過使用節(jié)省空間的邏輯日志記錄，可以將對日志的爭用降至最小。另外，XFS 允許將日志存儲在另一個塊設(shè)備上，例如，另一個磁盤上的一個分區(qū)。這個特性很有用，它進一步改進了 XFS 文件系統(tǒng)的性能。 延遲分配是 XFS 獨有的特性，它是查找空閑空間區(qū)域并用于存儲新數(shù)據(jù)的過程。通過延遲分配，XFS 贏得了許多機會來優(yōu)化寫性能。到了要將數(shù)據(jù)寫到磁盤的時候，XFS 能夠以這種優(yōu)化文件系統(tǒng)性能的方式，智能地分配空閑空間。尤其是，如果要將一批新數(shù)據(jù)添加到單一文件，XFS 可以在磁盤上分配一個單一、相鄰區(qū)域來儲存這些數(shù)據(jù)。如果 XFS 沒有延遲它的分配決定，那么，它也許已經(jīng)不知不覺地將數(shù)據(jù)寫到了多個非相鄰塊中，從而顯著地降低了寫性能。但是，因為 XFS 延遲了它的分配決定，所以，它能夠一下子寫完數(shù)據(jù)，從而提高了寫性能，并減少了整個文件系統(tǒng)的碎片。在性能上，延遲分配還有另一個優(yōu)點。在要創(chuàng)建許多"短命的"臨時文件的情況下，XFS 可能根本不需要將這些文件全部寫到磁盤。因為從未給這些文件分配任何塊，所以，也就不必釋放任何塊，甚至根本沒有觸及底層文件系統(tǒng)元數(shù)據(jù)。
JFS 由IBM 公司開發(fā)，最初出現(xiàn)在AIX 操作系統(tǒng)之上，它提供了基于日志的字節(jié)級、面向事務(wù)的高性能文件系統(tǒng)。它具有可伸縮性和健壯性，與非日志文件系統(tǒng)相比，它的優(yōu)點是其快速重啟能力：JFS 能夠在幾秒或幾分鐘內(nèi)就把文件系統(tǒng)恢復(fù)到一致狀態(tài)。JFS 是完全 64 位的文件系統(tǒng)。所有 JFS 文件系統(tǒng)結(jié)構(gòu)化字段都是 64 位大小。這允許 JFS 同時支持大文件和大分區(qū)。 為了支持 DCE DFS（分布式計算環(huán)境分布式文件系統(tǒng)），JFS 將磁盤空間分配池（稱為聚集）的概念, 與可安裝的文件系統(tǒng)子樹（稱為文件集）的概念分開。每個分區(qū)只有一個聚集；每個聚集可能有多個文件集。在第一個發(fā)行版中，JFS 僅支持每個聚集一個文件集；但是，所有元數(shù)據(jù)都已設(shè)計成適用于所有情況。 如圖3所示，聚集開始部分是32K的保留區(qū)，緊隨其后的是聚集主超級塊。超級塊包含聚集的信息，例如：聚集的大小、分配組的大小、聚集塊的尺寸等等。超級塊位于固定位置，這使得 JFS 不依賴任何其它信息，就能夠找到它們。在聚集中還有一個重要的結(jié)構(gòu)是聚集索引結(jié)點表（Aggregate Inode Table）以及用于其映射的聚集索引結(jié)點分配映射表（Aggregate Inode Allocation Map）。AIT表中的inode 0 保留，inode 1 描述聚集本身，inode 2 描述聚集塊映射表（block map）， inode 3 描述安裝時的內(nèi)嵌日志，inode 4 描述在聚集格式化期間發(fā)現(xiàn)的壞塊，保留inode 5 到 15 以備將來擴展。 從inode 16 開始，每個inode代表一個文件集。文件集中也有索引結(jié)點表以及用于其映射的索引結(jié)點分配映射表，文件集中的inode 描述文件集中的每一個文件。 圖3 JFS磁盤結(jié)構(gòu) JFS 使用基于盤區(qū)的尋址結(jié)構(gòu)，連同主動的塊分配策略，產(chǎn)生緊湊、高效、可伸縮的結(jié)構(gòu)，以將文件中的邏輯偏移量映射成磁盤上的物理地址。盤區(qū)是象一個單元那樣分配給文件的相連塊序列，可用一個由 <邏輯偏移量，長度，物理地址> 組成的三元組來描述。尋址結(jié)構(gòu)是一棵 B+ 樹，該樹由盤區(qū)描述符（上面提到的三元組）填充，根在 inode 中，鍵為文件中的邏輯偏移量。 JFS 按需為磁盤 inode 動態(tài)地分配空間，同時釋放不再需要的空間。這一支持避開了在文件系統(tǒng)創(chuàng)建期間，為磁盤 inode 保留固定數(shù)量空間的傳統(tǒng)方法，因此用戶不再需要估計文件系統(tǒng)包含的文件和目錄最大數(shù)目。另外，這一支持使磁盤 inode 與固定磁盤位置分離。 JFS 提供兩種不同的目錄組織。第一種組織用于小目錄，并且在目錄的 inode 內(nèi)存儲目錄內(nèi)容。這就不再需要不同的目錄塊 I/O，同時也不再需要分配不同的存儲器。最多可有 8 個項可直接存儲在 inode 中，這些項不包括自己(.)和父(..)目錄項，這兩個項存儲在 inode 中不同的區(qū)域內(nèi)。第二種組織用于較大的目錄，用按名字鍵控的 B+ 樹表示每個目錄。與傳統(tǒng)無序的目錄組織比較，它提供更快的目錄查找、插入和刪除能力。
所用的測試工具是Postmark和Bonnie++。Postmark主要用于測試文件系統(tǒng)在郵件系統(tǒng)或電子商務(wù)系統(tǒng)中性能，這類應(yīng)用的特點是：需要頻繁、大量地存取小文件。而Bonnie++主要測試大文件的IO性能。 下面將詳細分析用上述兩種測試工具在各種測試參數(shù)配置下的結(jié)果。 圖4 PostMark 小文件 圖 4是PostMark測試小文件的結(jié)果，其參數(shù)是文件大小50B增至1K, 同一目錄下的文件數(shù)從5k至20k，事務(wù)總數(shù)為25k。從圖中我們可以看出： 1. 不論是Ext3 還是ReiserFS,在三種日志模式中，寫回（writeback）最快，預(yù)定（ordered）次之，日志（journal）最慢。 2. 在各種文件系統(tǒng)中，ReiserFS 的寫回和預(yù)定模式是最快的，且隨著文件數(shù)的增加事務(wù)處理速度下降的也很慢。 3. Ext3在文件數(shù)較少時，事務(wù)處理速度也比較快，但當文件數(shù)超過10k后，速度就比較慢了。 4. XFS和JFS的速度較慢，但隨著文件數(shù)的增加，速度下降的比較緩慢。 圖5 PostMark 大文件 圖5是PostMark測試大文件的結(jié)果，其參數(shù)是文件大小1k至16K,同一目錄下的文件數(shù)從5k增至20k，事務(wù)總數(shù)為25k時的測試結(jié)果。從圖中我們可以看出： 1. 在處理大文件時，當文件數(shù)達到15k時，各種文件系統(tǒng)處理能力都較差。 2. 當文件數(shù)在小于10k時，ReiserFS的寫回、預(yù)定模式和EXT3的寫回模式性能是比較好的。但這兩種文件系統(tǒng)的全日志模式都比較差。 3. XFS文件系統(tǒng)的性能居中，JFS文件系統(tǒng)的性能最差。 圖6：Bonnie++順序?qū)懙乃俾?/b> 圖7：Bonnie++順序?qū)憰rCPU利用率 圖6是Bonnie++對文件大小分別為1G，2G，4G順序?qū)懙男阅鼙容^，圖7是其CPU的利用率比較。從上述兩圖中我們可以看出： 1. 除了Ext3和ReiserFS的Journal模式的性能較差外，其他幾種模式和XFS、JFS寫磁盤的速率相當。 2. 從CPU利用率來看，各種文件系統(tǒng)的CPU利用率都比較低，而且隨著數(shù)據(jù)量的增大CPU的利用率降低。 3. Journal模式的CPU利用率比其他兩種模式要低。 圖8：Bonnie++ 順序創(chuàng)建文件 圖9：Bonnie++ 隨機創(chuàng)建文件 圖10：Bonnie++ 隨機刪除文件 圖11：Bonnie++ 隨機刪除文件時的CPU利用率 圖8至圖11是Bonnie++對創(chuàng)建和刪除文件的性能比較，文件數(shù)由50k增至400k。從中可以看出： 1. 不管是創(chuàng)建文件，還是刪除文件，Ext3和ReiserFS的三種日志模式之間的性能差別可以忽略不計。這主要是由于創(chuàng)建、刪除文件都是對元數(shù)據(jù)的操作，而對元數(shù)據(jù)的操作三種模式之間本身就沒有什么區(qū)別。 2. 不管是創(chuàng)建文件，還是刪除文件，Ext3的性能都比較差；ReiserFS的性能是最好的，特別是文件數(shù)少于100k時。這主要是由于Ext3是基于Ext2的，其目錄項是線性組織的，而其他文件系統(tǒng)都是樹形結(jié)構(gòu)。 3. 從CPU的利用率來看，除Ext3的利用率交給外，其他幾種文件系統(tǒng)的利用率都很低。 綜上所述，我們可以得出以下結(jié)論： 1. 在小型系統(tǒng)，如：郵件系統(tǒng)或小規(guī)模的電子商務(wù)系統(tǒng)應(yīng)用時，ReiserFS和Ext3 的性能是比較好的。但由于Ext3的目錄項是線型的，而ReiserFS的目錄項是樹型的，故當目錄下文件較多時，ReiserFS的性能更優(yōu)。 2. 在對于上G的這種大文件做I/O時，各種文件系統(tǒng)間的性能差距很小，性能瓶頸往往在磁盤上。 3. 雖然XFS和JFS在設(shè)計結(jié)構(gòu)上都比較好，但它們主要是針對大中型系統(tǒng)的，在小型系統(tǒng)中由于硬件的原因性能發(fā)揮不明顯。 4. 全日志模式和預(yù)定、寫回這兩種模式相比，性能差距是比較大的；而預(yù)定和寫回之間的性能差距不大。所以性能和安全兼顧時，文件系統(tǒng)的缺省安全模式，即預(yù)定模式是比較好的選擇。
|
