Direct Storage стал одним из ключевых направлений в развитии компьютерной архитектуры для задач хранения и передачи данных высокого объёма и низкой латентности.

Эта технология, впервые широко анонсированная для игр и графических приложений, привела к пересмотру подходов к организации ввода-вывода, использованию NVMe-накопителей и взаимодействию между хранилищем и графическим процессором.

В данной статье мы рассмотрим принцип работы Direct Storage, его аппаратную реализацию, влияние на производительность систем, практические сценарии применения в железе и примеры реальных систем, а также потенциальные ограничения и пути оптимизации.

Что такое Direct Storage и почему это важно

Direct Storage набор принципов и API-подходов, позволяющих минимизировать промежуточную обработку данных при их переносе из хранилища (обычно NVMe SSD) в потребляющие устройства, чаще всего GPU.

Главная идея состоит в том, чтобы позволить устройствам обходить центральный процессор и оперативную память при операциях ввода-вывода, тем самым снижая задержки и системную нагрузку.

Для Hi-Tech сообщества это важно по нескольким причинам: во‑первых, рост объёмов данных в приложениях (рейтрейсинг, виртуализация, большие графические сцены, данные для ИИ) делает узким местом именно передачу и предобработку данных; во‑вторых, более эффективное использование SSD и PCIe-шины повышает общую пропускную способность системы; в‑третьих, аппаратная интеграция Direct Storage даёт новые возможности для проектирования SoC и серверных платформ.

Эволюция от классических файловых операций к прямому доступу устройств - непрерывный процесс: сначала DMA обеспечил передачу без участия CPU, затем появилась поддержка NVMe и PCIe 3/4/5, а Direct Storage продолжает эту линию, переводя нарратив на уровень приложений и графики.

В контексте высокопроизводительных вычислений (HPC) и задач ИИ снижение накладных расходов на I/O напрямую влияет на общую производительность: например, при загрузке данных для обучения моделей, где ввод-вывод может стать лимитирующим фактором, прямой доступ ускоряет throughput и уменьшает ожидание GPU.

Ключевые принципы работы Direct Storage

Основополагающие принципы Direct Storage базируются на нескольких технологических блоках: использование NVMe-SSD с высокой скоростью передачи, распределение загрузки между контроллерами, поддержка асинхронных операций и прямой передачи данных между хранилищем и устройствами-акселераторами (например, GPU) через DMA/peer-to-peer механизмы.

API-уровень управляет буферами, кэшами и очередями команд.

Первый принцип - минимизация копирований. В традиционной модели данные читаются с SSD в ядро ОС, копируются в буферы пользователя, затем снова копируются для передачи на GPU.

Direct Storage сокращает число этих копирований, позволяя организовать прямой DMA-поток из пространства SSD в адреса, доступные GPU.

Второй принцип - асинхронность и параллелизм. Direct Storage использует многопоточность и очереди команд NVMe для одновременных операций чтения/записи, что особенно эффективно при больших наборах мелких файлов (например, текстуры и ассеты в играх). Это снижает эффект "head-of-line blocking" и увеличивает суммарную пропускную способность.

Третий принцип - согласованность и безопасность. При прямом доступе важно корректно управлять правами доступа, синхронизацией и согласованием кешей, чтобы избежать расхождений данных между хранилищем, CPU и GPU.

Это достигается на уровне драйверов и аппаратных механизмов IOMMU, которые ограничивают доступ DMA-операций только разрешённым адресным диапазонам.

Аппаратная архитектура и компоненты

Аппаратная реализация Direct Storage задействует несколько ключевых компонентов: NVMe-накопители, контроллеры PCIe, CPU с поддержкой IOMMU, GPU с peer-to-peer DMA и системную трассу PCIe, а также программно-аппаратные интерфейсы (драйверы и firmware) для координации.

Важную роль играют версии PCIe (3.0, 4.0, 5.0 и далее) и поддержка протокола NVMe over Fabrics в серверных решениях.

NVMe-SSD обеспечивает высокую пропускную способность и низкую латентность по сравнению с SATA/SAS. Контроллер SSD оптимизирован для параллельных потоков команд и использует множество очередей для обработки IO.

Современные SSD поддерживают тысячи одновременных команд, что важно для использования Direct Storage в сценариях с большим числом мелких файлов.

GPU, в свою очередь, должен поддерживать механизм peer-to-peer DMA через PCIe. Это позволяет GPU напрямую читать/записывать данные из/в адресное пространство SSD, минуя CPU. В практике это реализуется через фиксацию физического адреса в IOMMU и передачу дескрипторов DMA в контроллер хоста.

IOMMU (Input-Output Memory Management Unit) - критический элемент безопасности, который переводит виртуальные адреса DMA в физические и обеспечивает изоляцию между устройствами.

Он предотвращает несанкционированный доступ устройств к всей памяти системы и позволяет контролировать диапазоны, доступные конкретным устройствам.

Сетевые и серверные сценарии? NVMe over Fabrics и масштабирование

В серверных средах Direct Storage часто комбинируют с NVMe over Fabrics (NVMe-oF) - протоколом, позволяющим расширять NVMe через сеть с низкой латентностью (RoCE, iWARP, Fibre Channel).

Это даёт возможность распределённым системам и дата‑центрам предоставлять высокоскоростной доступ к удалённым NVMe-устройствам почти без потерь производительности.

NVMe-oF расширяет архитектурную модель: теперь Direct Storage может оперировать не только локальными SSD, но и удалёнными пулом хранилищ, доступ к которым организуется через быстрые сети. Это критично для распределённых тренингов ИИ и рендеринга, где узлы обмениваются большими объёмами данных.

Масштабирование достигается с помощью агрегации NVMe-устройств и распределения нагрузки между ними.

В конфигурациях с RDMA-поддержкой задержки при удалённом доступе могут быть минимальными (типично несколько микросекунд для RoCE), что делает NVMe-oF подходящим для latency-sensitive задач.

При проектировании серверных решений важно учитывать узкие места: пропускная способность сетевого интерфейса, производительность контроллеров и потенциал блокировок при большом числе параллельных запросов.

Балансировка и локальный кэш часто используются для уменьшения сетевого трафика и повышения устойчивости к перегрузкам.

Применение в игровых и графических системах

Direct Storage получил широкую известность благодаря игровой индустрии. Современные игры имеют огромные наборы ассетов: текстуры, модели, звуки, анимации. Традиционная модель загрузки эти ассетов часто создаёт "загрузочные" экраны и затраты CPU на распаковку и отправку данных на GPU.

Direct Storage минимизирует эти издержки.

Практический эффект для игр - более быстрые загрузки уровней, плавная подгрузка ассетов в открытом мире и уменьшение микрофризов при моментальных загрузках. Например, при тестировании игровых движков с поддержкой Direct Storage наблюдается сокращение времени загрузки текстур и сцен на 20–70% в зависимости от конфигурации SSD и шины PCIe.

В ряде кейсов уменьшение микроподергиваний было особенно заметно на системах с быстрыми NVMe drives и PCIe 4.0/5.0.

Игровые движки адаптируются, чтобы выгружать и загружать ассеты через асинхронные очереди, а также использовать компрессию, совместимую с GPU-декодированием (например, GPU-side decompression), что ещё сильнее сокращает нагрузку на CPU и память.

Еще один важный аспект - поддержка современных API (DirectX12, Vulkan), которые формально и фактически интегрируют концепции прямого доступа и управления ресурсами между хранилищем и GPU, позволяя разработчикам оптимизировать пайплайн загрузки и использования данных.

Применение в системах ИИ и аналитике данных

Для задач машинного обучения и аналитики Direct Storage даёт преимущества при загрузке больших наборов данных и распределённых тренировках. При обучении моделей часто критична скорость подачи батчей данных на GPU.

Прямой доступ к SSD позволяет организовать быстрые потоки данных, сокращая задержку до первых эпох и повышая общую эффективность GPU.

В реальных сценариях ускорение зависит от характера данных: если данные состоят из множества мелких файлов (например, изображения в формате JPEG), выигрыш будет значительным, поскольку уменьшается накладная на системные вызовы и копирование.

Для монолитных бинарных наборов (TFRecords, LMDB) эффект может быть менее выражен, но асинхронный параллелизм NVMe и GPU-декодирование всё равно повышают throughput.

Крупные дата-центры применяют Direct Storage и NVMe-oF для уменьшения латентности при отборе данных и передачи их на вычислительные узлы. Это особенно важно при онлайн-инференсе и при системах реального времени, где задержка от запроса до ответа должна быть минимальной.

В задачах аналитики, где данные сканируются последовательно (например, в OLAP), высокая пропускная способность NVMe и оптимизация чтения блоками значительно ускоряют обработку, особенно если данные предварительно организованы под прямой доступ (columnar форматы, сжатие, индексы).

Метрики и реальные показатели производительности

Оценка эффективности Direct Storage должна опираться на метрики: латентность I/O, пропускная способность (GB/s), количество операций ввода-вывода в секунду (IOPS), загрузка CPU и время end-to-end на выполнение типовых задач (загрузка уровня, запуск инференса, время отклика базы данных).

Каждая метрика отражает разные аспекты влияния технологии.

Типичные тесты показывают следующие закономерности: при использовании NVMe SSD и Direct Storage суммарная пропускная способность для потоковых чтений может приближаться к теоретической полосе пропускания PCIe (например, PCIe 4.0 x4 обеспечивает ~7.8 GB/s), а IOPS остаются высокими благодаря параллелизации команд NVMe.

При этом загрузка CPU при чтении данных заметно снижается (в некоторых тестах на 30–60%), так как уменьшается объём копирований и синхронизаций.

Примеры: в бенчмарках игровых сцен с тысячами мелких ассетов системы с Direct Storage показывали уменьшение времени загрузки сцены в среднем на 35–50% по сравнению с классической моделью, при условии наличия NVMe и поддержки GPU-DMA.

В задачах ИИ, при подготовке данных для одного шага обучения, наблюдалось сокращение задержки подачи батча на 15–40% в зависимости от формата данных и степени параллелизма.

Важно учесть, что реальные выигрыши зависят от комбиниции: скорость SSD, версия PCIe, возможности CPU/GPU, архитектура драйверов и особенности приложений. Без должной оптимизации на уровне софта аппаратный потенциал может оставаться невостребованным.

Ограничения, риски и совместимость

Несмотря на очевидные преимущества, Direct Storage имеет свои ограничения и потенциальные риски. Первое - аппаратная совместимость: не все системы поддерживают peer-to-peer DMA между SSD и GPU, а старые платформы могут не иметь необходимых функций IOMMU или соответствующих драйверов.

Второй аспект - безопасность и изоляция. Прямые трансферы требуют тщательной настройки прав доступа, чтобы устройство не смогло получить доступ к произвольной памяти, что потенциально приводит к уязвимостям.

Поэтому IOMMU и проверенные драйверы - обязательное условие для безопасной эксплуатации.

Третий аспект - управление кешами и согласованность данных. При прямом доступе нужно заботиться, чтобы данные, модифицируемые CPU или другими устройствами, корректно синхронизировались.

Неправильная синхронизация может привести к использованию устаревших или частично записанных данных.

Наконец, экономическая сторона: системы с поддержкой Direct Storage требуют современных NVMe и, возможно, обновлённого PCIe, что влечёт дополнительные капитальные затраты.

Для некоторых задач выгоды окупаются не сразу, поэтому важно проводить анализ TCO и ROI при планировании внедрения.

Советы по интеграции в железо

При проектировании аппаратной платформы с поддержкой Direct Storage рекомендуется следующее: начать с выбора NVMe-накопителей с высокой IOPS и низкой латентностью, предпочитать контроллеры с поддержкой большого числа очередей команд.

Это особенно важно при большом числе мелких синхронных запросов.

Второй шаг - обеспечить поддержку современных версий PCIe и достаточного числа линий (x4/x8/x16) для SSD и GPU. Чем выше версия PCIe и количество линий, тем выше потенциальная пропускная способность и меньше ограничений на peer-to-peer операции.

Третий шаг - настроить правильную конфигурацию IOMMU и драйверов. Нужно обеспечить безопасную фиксацию адресов DMA и корректную работу с кешами. В серверах целесообразно использовать RDMA-сети (RoCE, iWARP) и NVMe-oF для масштабирования хранения данных.

Четвёртый шаг - оптимизировать софт: адаптировать приложения для асинхронного ввода-вывода, минимизировать копирования, использовать GPU-decompression и форматы хранения, ориентированные на прямой доступ.

Внедрение наблюдений и телеметрии поможет выявить узкие места и корректировать архитектуру.

Будущее Direct Storage и влияние на архитектуры

В ближайшие годы Direct Storage будет продолжать влиять на дизайн железа и программного стека. Рост ёмкости и скорости NVMe, распространение PCIe 5.0/6.0, улучшение поддержки RDMA и развитие стандарта CXL приведут к ещё более тесной интеграции хранилищ и вычислительных ускорителей.

Появляются идеи сделать хранилище "умнее" - offload некоторых предварительных операций (декомпрессия, фильтрация), чтобы уменьшить объём передаваемых данных. Это потребует развития firmware и новых API, но позволит снизить латентность и нагрузку на CPU/GPU.

Конвергенция памяти и хранения через CXL может ещё сильнее размыть границы между RAM и NVMe, предоставляя приложениям единое адресное пространство с различными уровнями персистентности и латентности.

В таких системах Direct Storage станет естественной частью инфраструктуры доступа к данным.

Также ожидается рост стандартов для безопасности DMA и управления правами доступа устройств, что уменьшит риски и повысит надёжность при массовом внедрении Direct Storage в дата-центрах и потребительских платформах.

Примеры реальных платформ и решений

На рынке уже есть платформы, которые интегрируют принципы Direct Storage. Многочисленные игровые ПК с NVMe и современными GPU поддерживают DirectX12 Ultimate и соответствующие расширения для прямого доступа.

Серверные решения крупных вендоров предлагают NVMe-oF и RDMA, оптимизированные для задач HPC и ИИ.

Примеры: игровые консоли нового поколения используют NVMe, оптимизированные для быстрой загрузки ассетов и streaming-архитектуры; дата-центры крупных облачных провайдеров разворачивают NVMe-oF и быстрые сети для предоставления узлам доступа к удалённым NVMe с минимальной латентностью; специализированные рабочие станции для медиарендеринга внедряют peer-to-peer между хранилищем и GPU, оптимизируя pipeline.

Кроме того, производители SSD предлагают продукты с аппаратной поддержкой функций, полезных для Direct Storage (например, поддержка аппаратной декомпрессии, расширенные очереди команд), а производители материнских плат и серверных шин добавляют схемы для ускорения peer-to-peer коммуникаций.

Индустриальные стандарты и проекты с открытым исходным кодом (включая реализацию драйверов и middleware) помогают ускорить адаптацию и унификацию подходов к Direct Storage.

Типовые сценарии внедрения и кейсы

Ниже перечислены несколько типовых сценариев внедрения Direct Storage, которые демонстрируют потенциальные выигрыши и практические аспекты интеграции.

• Игровая платформа: быстрая подгрузка миров и текстур, уменьшение времени загрузки и микрофризов благодаря прямому DMA между NVMe и GPU и поддержке GPU-side decompression.

• Система ИИ: ускорение подачи данных на тренировочные кластеры, снижение CPU-overhead при чтении большого числа файлов и повышение эффективности GPU через асинхронную организацию ввода-вывода.

• Медиарендеринг: потоковая загрузка видеофрагментов и ассетов для рендера в реальном времени, оптимизация pipeline через обработку данных ближе к хранилищу.

• Дата-центр и облако: распределённый доступ к NVMe через NVMe-oF и RDMA, масштабирование хранилищ и быстрая доставка данных к узлам без перегрузки CPU.

Каждый кейс требует анализа узких мест и оценки готовности аппаратной базы. Нередко внедрение Direct Storage сопровождается модернизацией драйверов и переработкой приложений для асинхронной модели работы с данными.

Сравнение подходов и таблица характеристик

Для наглядности приведём сравнение традиционной модели ввода-вывода с Direct Storage по основным характеристикам.

Несколько советовдля разработчиков и инженеров

Если вы проектируете платформу или адаптируете приложение под Direct Storage, обратите внимание на эти практические рекомендации:

• Анализируйте профиль I/O: определите долю мелких файлов и случайных чтений - там выигрыш будет максимальным.

• Выбирайте NVMe с высокой IOPS и малой латентностью, учитывайте endurance и термическое управление.

• Планируйте архитектуру PCIe так, чтобы SSD и GPU имели достаточную полосу и минимальные "перекрёстные" узкие места.

• Инвестируйте в корректную настройку IOMMU и тестирование прав доступа DMA-операций.

• Оптимизируйте форматы хранения: объединение мелких файлов, использование контейнеров и GPU-совместимых компрессий.

• Используйте телеметрию и профайлинг для выявления узких мест и измерения реального эффекта от изменений.

Direct Storage не просто технологический тренд, а эволюция подхода к организации данных в системах, где латентность и пропускная способность определяют пользовательский опыт и эффективность вычислений.

Правильная аппаратная интеграция и софт-оптимизация превращают потенциал SSD и современных шин в реальный прирост производительности.

В заключение подчеркнём: внедрение Direct Storage требует внимания к деталям аппаратной совместимости, настройке безопасности и переработке программных пайплайнов.

Однако при правильной реализации выгода выражается в заметном снижении времени загрузки, уменьшении нагрузки на CPU и повышении пропускной способности системы.

Для Hi-Tech проектов, ориентированных на работу с большими объёмами данных, Direct Storage становится обязательным элементом архитектуры, способным раскрыть потенциал современных NVMe и ускорителей.

Поддерживает ли любой SSD Direct Storage?

Нет. Базовые преимущества Direct Storage требуют NVMe-устройства с высокой скоростью и поддержкой множества очередей, а также системы с PCIe и драйверами, обеспечивающими peer-to-peer DMA и корректную работу IOMMU.

Нужно ли менять приложения для использования Direct Storage?

Часто да. Чтобы получить максимальную выгоду, приложения должны использовать асинхронные I/O, минимизировать копирования и поддерживать форматы данных, совместимые с GPU-декодированием или прямым доступом.

Какие узкие места могут ограничивать эффект?

Узкими местами могут стать пропускная способность PCIe, возможности контроллера SSD, отсутствие поддержки peer-to-peer на платформе и лишняя нагрузка на CPU из-за плохой синхронизации.