
Тренировка модели машинного обучения может потреблять больше ресурсов процессора, памяти и пропускной способности ввода/вывода, чем любая другая программная задача. Современная модель за несколько проходов обучающего набора данных может читать и записывать сотни терабайт, испытывая на прочность даже самые быстрые массивы хранения. С началом гонки за ИИ, когда каждая отрасль и государственное учреждение стремятся повысить производительность ИИ, возникла необходимость в надежном и повторяемом способе оценки конкретных аппаратных ресурсов для рабочих нагрузок машинного обучения. Группа MlCommons стала пионером в этой области, представив в Mlperf Storage V2.0 инновационные методы оценки производительности хранилища данных при машинном обучении и использовании моделей. В этой статье рассматривается, как U.2 PCIe Gen5 NVMe SSD-накопители Kingston DC3000ME показывают себя в рамках оценки производительности MLPerf без необходимости в дорогостоящем графическом процессоре. Используя паузы в обращении к хранилищу для эмуляции расчетов в графическом процессоре, MLPerf моделирует реальные рабочие нагрузки ИИ, позволяя организациям тестировать производительность хранилищ экономно и масштабируемо.
Почему это важно? Быстрое хранилище обеспечивает высокую производительность графических процессоров за счет быстрой подачи данных, минимизации времени простоя и максимальной эффективности вычислений. Накопители Kingston DC3000ME помогают организациям ускорять циклы обучения, снижать затраты на инфраструктуру и достигать масштабируемой производительности с меньшим количеством накопителей, что делает их разумной инвестицией в современные системы ИИ.
В этой публикации документе мы:
- Изучаем новый метод MLPerf v2 для тестирования хранилищ с использованием пауз для эмуляции периодов обработки данных
- Представляем различные рабочие нагрузки по обучению и сохранению контрольных точек, охватываемые MLPerf v2 Storage
- Обсуждаем результаты тестирования Kingston DC3000ME в рабочих нагрузках по обучению и сохранению контрольных точек на платформах PCIe Gen5 и Gen4
Результаты показывают, что решения PCIe Gen5 NVMe, такие как DC3000ME, являются привлекательным выбором для организаций, стремящихся к максимальной загрузке ускорителей и увеличению времени активности графических процессоров в рабочих процессах машинного обучения. Мы подробно рассматриваем настройки, методику тестирования и оптимизацию после тестирования, а также их влияние на различные рабочие нагрузки.
U.2 PCIe Gen5 NVMe SSD-накопители Kingston DC3000ME представляют собой высокоэффективное решение для рабочих нагрузок ИИ. Независимо от того, тренируете ли вы модели глубокого обучения или дообучаете большие языковые модели (LLM), эти накопители обеспечивают необходимую скорость, надежность и эффективность, позволяя быть в авангарде гонки ИИ.
Загрузить статью