Введение в RDMA (прямой удаленный доступ к памяти)

Introduction Rdma

Что такое РДМА? Это сокращение от удаленного прямого доступа к памяти. Если вы хотите узнать подробную информацию об этом, то вы попали по адресу. Этот пост от MiniTool в основном посвящен RDMA.

• Что такое РДМА?
• Как работает RDMA?
• Сетевые протоколы, поддерживающие RDMA
• Продукты и поставщики, поддерживающие RDMA
• RDMA над фабриками и будущие направления
• Нижняя граница

Что такое РДМА?

Для начала, что такое RDMA? RDMA — это аббревиатура удаленного прямого доступа к памяти. Это технология, которая позволяет компьютерам в сети обмениваться данными в основной памяти без участия процессора, кэша или операционной системы любого компьютера. Продолжайте читать, и вы обнаружите, что этот пост от MiniTool предлагает вам полную информацию о RDMA.

Подобно локальному прямому доступу к памяти (DMA), RDMA может освободить ресурсы и повысить пропускную способность и производительность. RDMA также помогает повысить скорость передачи данных и работу сетей с малой задержкой, что особенно полезно в компьютерных кластерах с массовым параллелизмом. И это может быть реализовано для сетевых приложений и приложений хранения данных.

Как работает RDMA?

Тогда как же работает RDMA? RDMA поддерживает сеть с нулевым копированием, позволяя сетевому адаптеру передавать данные непосредственно из проводной сети в память приложения или напрямую из памяти приложения в проводную сеть без копирования данных между памятью приложения и буферами данных в операционной системе.

Такие передачи не требуют использования процессоров, кэшей или переключателей контекста для выполнения какой-либо работы, и передачи происходят параллельно с другими системными операциями. Это уменьшает задержку при передаче сообщений. Что еще лучше, если и отправляющее, и принимающее устройства поддерживают RDMA, диалог между ними будет завершен быстрее, чем аналогичные сетевые системы без RDMA.

Если вашим приложениям требуются быстрые и массивные параллельные кластеры высокопроизводительных вычислений (HPC) и сети центров обработки данных, то вы можете обнаружить, что RDMA очень полезен. Вы также можете найти RDMA полезным при анализе больших данных, в суперкомпьютерных средах, обрабатывающих приложения, и в машинном обучении, требующем минимальной задержки и самой высокой скорости передачи.

Однако у этой стратегии есть некоторые проблемы, связанные с тем, что целевой узел не получает уведомление о запрошенном завершении (односторонняя связь).

Сетевые протоколы, поддерживающие RDMA

RDMA в конвергентном Ethernet. RoCE — это сетевой протокол, который поддерживает RDMA через Ethernet, определяя производительность RDMA в такой среде.Протокол RDMA для глобальной сети ИнтернетIWARP использует протокол управления передачей (TCP) или протокол передачи управления потоком (SCTP) для передачи данных. Он был разработан Инженерной группой Интернета, чтобы позволить приложениям на сервере напрямую читать или записывать приложения, которые выполняются на другом сервере, без поддержки со стороны операционной системы на любом из серверов.ИнфиниБэнд. Для высокоскоростных сетевых подключений InfiniBand стандартным протоколом является RDMA. Этот сетевой протокол RDMA обычно используется для межсистемной связи и впервые был популярен в высокопроизводительных вычислительных средах. Поскольку InfiniBand может быстро подключаться к большим компьютерным кластерам, он ввел дополнительные варианты использования, такие как среды больших данных, базы данных, настройки с высокой степенью виртуализации и веб-приложения с большими требованиями к ресурсам.

Продукты и поставщики, поддерживающие RDMA

По состоянию на 2018 год RDMA получил более широкое признание благодаря реализации расширенных функций, обеспечивающих более высокую производительность, чем обычная сетевая инфраструктура. Какие продукты и производители поддерживают RDMA? Ниже перечислены некоторые продукты и поставщики:

• Анализ больших данных Apache Hadoop и Apache Spark
• Платформа Baidu Paddle (параллельное распределенное глубокое обучение)
• Адаптеры Broadcom и Emulex
• Фреймворк глубокого обучения Caffe
• Сетевые адаптеры Ethernet Cavium FastLinQ серии 45000/41000
• Платформа хранения объектов Ceph
• ChainerMN Платформа глубокого обучения с открытым исходным кодом на основе Python
• Адаптеры iWARP Chelsio Terminator 5 и 6
• Серверы Dell EMC PowerEdge
• Операционная система FreeBSD
• Межсетевая файловая система GlusterFS
• Масштабируемые процессоры Intel Xeon и концентратор контроллера платформы
• Семейство сетевых адаптеров Mellanox ConnectX и коммутаторов InfiniBand
• Microsoft Windows Server (2012 и более поздние версии) через SMB Direct поддерживает сетевые адаптеры с поддержкой RDMA, виртуальный коммутатор Hyper-V и Cognitive Toolkit.

Вы можете нажать на это связь чтобы получить больше продуктов и поставщиков, поддерживающих RDMA.

RDMA над фабриками и будущие направления

RDMA on Fabric — это логическое развитие существующей архитектуры общего хранилища, использующее твердотельную и флэш-память, что повышает производительность доступа к общим данным. Сеть RDMA использует такой протокол, как RoCE, iWARP или InfiniBand, для передачи данных между адресным пространством памяти через интерфейс, что ускоряет операции и увеличивает ценность инвестиций в приложения, серверы и хранилища.

Сети хранения данных Fibre Channel шестого поколения — 32 гигабита в секунду — и PCI Express поддерживают RDMA на основе интерфейса Fabrics.

Нижняя граница

В этом посте вы получили подробную информацию о том, что такое RDMA (прямой удаленный доступ к памяти). Кроме того, вы также можете узнать продукты и поставщиков, поддерживающих RDMA, а также сетевые протоколы, поддерживающие RDMA.