Введение в Memory-Mapped Files

Автор: Vipul Patel

Введение

В .NET Framework есть API-интерфейсы для редактирования файла, однако API, поставляемые в версиях до .NET Framework 4.0 не предназначены для работы с очень большими файлами. В потоковом классе MemoryStream (в отличие от FileStream) нет буферизации инкапсулированных данных и они напрямую помещаются в память. При отсутствии резервной копии данных, MemoryStream может оказаться полезным в качестве временного буфера. Memory-Mapped Files описываются в MSDN как способ, позволяющий приложениям работать с файлами так же как они работают с динамической памятью. Полная статья по Управлению отображаемыми в память файлами находится на сайте MSDN.

Типы отображаемых в памяти файлов

В библиотеке .NET framework 4.0 классы для работы с memory-mapped files находятся в пространстве имён System.IO.MemoryMappedFiles. Есть два основных типа отображаемых в память файлов:

- Persisted Files (Сохраняемые файлы) - Эти файлы имеют связанный с ними физический файл на диске. Эти типы файлов используются при работе с очень большими объёмами. При этом в память загружается только часть такого файла.

- Non-persisted files (Не сохраняемые файлы) - Эти файлы не имеют связанного с ними физического файла на диске, и при завершении процесса их содержимое теряется. Обычно такие файлы используются для взаимодействия между процессами и называются IPC.

Преимущества отображаемых в памяти файлов

Одним из основных преимуществ использования memory-mapped files, это увеличение производительности при операциях чтения/записи в загруженный в память файл. Доступ к памяти происходит быстрее, чем дисковые операции ввода/вывода, следовательно, повышение производительности достигается и при работе с очень большими файлами.

Отображаемые в памяти файлы также предлагают отложенную загрузку, что требует использрования небольшого количества оперативной памяти даже для больших файлов. В таких случаях приложение работает с данными в файле через так называемые отображения (вьюхой), которые физически загружают с диска всего одну страницу данных в текущий момент. Способность создавать представления позволяет значительно уменьшить потребление памяти в приложении.

Недостатки Memory-Mapped Files

Если представление для работы с файлом будет создано непродуманно с загрузкой большого количества данных, то это может сказаться на стартовой производительности приложения.

Работа с отображаемыми в память файлами

Работа с отображаемыми в память файлами происходит путём создания представления части или полного содержимого файла.

В 32-битных операционных системах, так как использование оперативной памяти ограничено двумя гигабайтами, может потребоваться создание несколько представлений.

Если для чтения последовательности данных из физического файла Вы используете потоковое чтение в память, то необходимо будет воспользоваться потоком MemoryMappedViewStream, который можно создать вызовом метода CreateViewStream объекта MemoryMappedFile.

Для IPC, Ваш отображаемый в память файл потребует отображение MemoryMappedViewAccessor имеющее доступ к оперативной памяти, и может быть создано вызовом метода CreateViewAccessor в экземпляре MemoryMappedFile.

Пример приложения с использованием Сохраняемого Memory Mapped File

В нижеприведённом фрагменте кода мы создаем сохраняемый файл, связанный с соответствующим физическим файлом на диске, доступ к которому осуществляется последовательно:

  using System;
  using System.Collections.Generic;
  using System.Linq;
  using System.Text;
  using System.IO;
  using System.IO.MemoryMappedFiles;
  
  namespace PersistentMemoryMappedFile
  {
      class Program
      {
          static string LargeString = "00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000
00000000000000000000000000000000000000000000000000000000.";
          static void Main(string[] args)
          {
              CreateLargeFile();
              CreateMemoryMappedFile("largetextfile.txt");
  
          }
  
          private static void CreateMemoryMappedFile(string fileName)
          {
              FileInfo fInfo = new FileInfo(fileName);
              long length = fInfo.Length;
              MemoryMappedFile mySequentialMMF = MemoryMappedFile.CreateFromFile(fileName, FileMode.Open, "MySequentialMap");
              for (long i = 0; i < length; i = i + 100000)
              {
                  MemoryMappedViewStream myMMFViewStream = mySequentialMMF.CreateViewStream(0, 100000, MemoryMappedFileAccess.ReadWrite);
                  myMMFViewStream.WriteByte((byte)'A');
                  Console.WriteLine("We changed a bit");
              }
          }
  
          private static void CreateLargeFile()
          {
              using (StreamWriter sw = new StreamWriter("largetextfile.txt", false))
              {
                  for (int i = 0; i < 500000; i++)
                      sw.WriteLine(LargeString);
              }
              File.Copy("largetextfile.txt", "largetextfileoriginal.txt");
  
          }
      }
  }

В приведенном выше фрагменте кода сперва создаётся большой файл, а затем с помощью MemoryMappedFile меняется каждый стотысячный байт в потоке на "А". Если у вас есть программы умеющие работать с большими файлами, то Вы заметите разницу.

Пример MemoryMappedFile для межпроцессного взаимодействия

Давайте посмотрим пример использования отображаемой памяти файлов для связи между процессами. В примере приведены два приложения: одно записывает, а другое считывает. Листинг записывающего приложения:

  using System;
  using System.Collections.Generic;
  using System.Linq;
  using System.Text;
  using System.IO.MemoryMappedFiles;
  using System.IO;
  using System.Threading;
  namespace NonPersistedMemoryMappedFileA
  {
      class Program
      {
          static void Main(string[] args)
          {
              MemoryMappedFile myNonPersisterMemoryMappedFile = MemoryMappedFile.CreateNew("myNonPersisterMemoryMappedFile", 100);
              bool IsmutexCreated;
              Mutex mymutex = new Mutex(true, "NonPersisterMemoryMappedFilemutex", out IsmutexCreated);
              Console.WriteLine("Start NonPersisterMemoryMappedFileB now");
              Console.ReadLine();
  
              StreamWriter sw = new StreamWriter(myNonPersisterMemoryMappedFile.CreateViewStream());
              sw.WriteLine("Process A says Hi");
              sw.Close();
              mymutex.ReleaseMutex();
  
          }
      }
  }

Компилируется вышеприведённый код в NonPersistedMemoryMappedFileA.exe с помощью следующей команды:

  C:\windows\microsoft.net\frame work\v4.0.30319\csc.exe NonPersistedMemoryMappedFileA.cs

Теперь листинг читающего приложения:

  using System;
  using System.Collections.Generic;
  using System.Linq;
  using System.Text;
  using System.IO.MemoryMappedFiles;
  using System.IO;
  using System.Threading;
  
  namespace NonPersistedMemoryMappedFileB
  {
      class Program
      {
          static void Main(string[] args)
          {
              MemoryMappedFile myNonPersisterMemoryMappedFile = MemoryMappedFile.OpenExisting("myNonPersisterMemoryMappedFile");
              Mutex mymutex = Mutex.OpenExisting("NonPersisterMemoryMappedFilemutex");
              mymutex.WaitOne();
  
              StreamReader sr = new StreamReader(myNonPersisterMemoryMappedFile.CreateViewStream());
              Console.WriteLine(sr.ReadLine());
              sr.Close();
              mymutex.ReleaseMutex();
  
              StreamWriter sw = new StreamWriter(myNonPersisterMemoryMappedFile.CreateViewStream());
              sw.WriteLine("Process B says Hi");
              sw.Close();
  
          }
      }
  }

Этот код компилируется в NonPersistedMemoryMappedFileB.exe с помощью следующей команды:

  C:\windows\microsoft.net\framework\v4.0.30319\csc.exe NonPersistedMemoryMappedFileB.cs

После компиляции откройте командную строку и выполните NonPersistedMemoryMappedFileA.exe. После появления просьбы запустите NonPersistedMemoryMappedFileB.exe и нажмите Enter в окне NonPersistedMemoryMappedFileA.exe. После этого будет видно как приложение NonPersistedMemoryMappedFileB.exe выводит сообщения посылаемы ему из NonPersistedMemoryMappedFileA.exe.

Статьи по Теме

• Введение в Code Access Security в .NET Framework
•.NET Framework: Monitor a Directory for a New File and Use FTP Upload to Copy It
• Изменения в классах System.IO в .NET Framework 4.0

Скачать

MemoryMappedFilesDemo.zip (78кб)