導(dǎo)出功能幾乎是所有應(yīng)用系統(tǒng)必不可少功能，今天我們來談一談，如何使用內(nèi)存映射文件MMF進行內(nèi)存優(yōu)化，本文重點介紹使用方法，相關(guān)原理可以參考文末的連接
我們以單次導(dǎo)出一個excel舉例(csv同理)，excel包含1~n個sheet，在每個sheet中存儲的按行和列的坐標在單元格存儲具體數(shù)據(jù)，如果我們要使用MMF，第一個要考慮的就是如何將整個excel合理的存儲到MMF中。這里我們引入MMF兩個對象：
MemoryMappedFile --表示內(nèi)存映射文件
MemoryMappedViewAccessor --表示隨機訪問的內(nèi)存映射文件視圖
使用MemoryMappedFile.CreateNew(string mapName, long capacity)可以得到一個指定名稱和指定大小的內(nèi)存映射文件，以下簡稱mmf
* 這里需要注意的是capacity為long類型，以字節(jié)為單位，通過計算可知文件大小上限為1G
使用mmf.CreateViewAccessor(long offset, long size)可以得到一個從指定位置開始的指定大小空間的訪問器，以下簡稱accessor
* 這里同樣需要注意的是size的大小，如果加上offset超過文件大小，會報System.UnauthorizedAccessException: Access to the path is denied.
考慮到數(shù)據(jù)體積和管理成本，這里使用mmf對應(yīng)sheet，使用accessor對應(yīng)一行數(shù)據(jù)
* 這里有個需要注意的是mmf不能存儲引用類型，包括字符串...，折衷先將string轉(zhuǎn)為char[]然后使用WriteArray方法存儲，考慮到取數(shù)據(jù)的時候同樣需要使用char[]數(shù)組，而數(shù)組必須指定長度，我們將數(shù)組長度和具體數(shù)據(jù)都存起來，這樣取數(shù)據(jù)時候的索引也可以計算出來了
數(shù)據(jù)存儲示例：
這面是具體的實現(xiàn)代碼：
//添加外部引用防止被自動GCpublic List<MemoryMappedFile> mmfs = new List<MemoryMappedFile>();/// <summary>/// 寫入/// </summary>public void WriteMMF() {for(var f = 1; f <= 3; f ++) {//每一個File相當于一個excel的一個sheet（一個患者一行）var mmf = MemoryMappedFile.CreateNew($"mmftest{f}", 1024 * 1024 * 1024); //文件大小最大為1Gfor (var row = 0; row < 10; row++) {//每一個ViewAccessor相當于excel的一行var accessor = mmf.CreateViewAccessor(row * 1024 * 1024, 1024 * 1024); //通過具體數(shù)據(jù)量計算空間，offset位移為每個size的長度，size為1Mvar index = 0;for (var i = 0; i < 16384; i++) {//相當于一行的每一個cellvar buffer = ASCIIEncoding.UTF8.GetBytes($"測試第{row}行第{i}個單元格~!");var length = buffer.Length; accessor.Write(index, length); accessor.WriteArray(index + 4, buffer, 0, length); index += (length + 4); } } mmfs.Add(mmf); } }/// <summary>/// 讀取/// </summary>public void ReadMMF() {for (var f = 1; f <= 3; f++) {using var mmf = MemoryMappedFile.OpenExisting($"mmftest{f}");for (var row = 0; row < 10; row++) {using var accessor = mmf.CreateViewAccessor(row * 1024 * 1024, 1024 * 1024); //通過寫數(shù)據(jù)同時做的記錄控制大小var index = 0;for (var i = 0; i < 16384; i++) {var size = accessor.ReadInt32(index);var buffer = new byte[size]; accessor.ReadArray(index + 4, buffer, 0, size);var result = ASCIIEncoding.UTF8.GetString(buffer); Console.WriteLine(result); index += (size + 4); } } }}
運行效果：
* 這里有個需要注意的點是，如果不在外部引用mmf，如果創(chuàng)建多個mmf，只有最新一個能通過OpenExisting方法打開，其他的都報System.IO.FileNotFoundException，猜測是資源被釋放掉了
* 還有個需要注意的點是，一定要計算好數(shù)據(jù)體積，不要超過mmf上限，使用accessor的時候也要注意，數(shù)據(jù)量實在太大可以考慮將一個sheet拆成多個mmf，或者將一行數(shù)據(jù)拆成多個accessor
這樣就可以實現(xiàn)從數(shù)據(jù)庫獲然后處理再存儲到載體的流程，整個過程中內(nèi)存使用控制在一個比較低的水平，當然，這是使用時間換空間，相應(yīng)的導(dǎo)出時間會延長
順便說一下，原本考慮后續(xù)使用epplus進行excel生成，后來發(fā)現(xiàn)npoi也和poi一樣有SXSSFWorkbook對象，可以流式讀取數(shù)據(jù)，配合內(nèi)存映射文件可以實現(xiàn)整個導(dǎo)出過程
