Система хранения данных OceanStor A800

Параметры крупных моделей ИИ растут в геометрической прогрессии - от сотен миллиардов до триллионов. Наборы обучающих данных также эволюционировали от унимодальной к мультимодальной парадигме (изображения, видео и т. д.), что привело к взрыву данных, увеличившему объемы в тысячи раз, и породило беспрецедентные проблемы. Во-первых, низкая производительность загрузки огромного количества небольших файлов снижает эффективность обучения. Во-вторых, часто оптимизируются параметры больших моделей, что привело к нестабильности обучающих платформ: перерывы в обслуживании происходят в среднем раз в два дня, а чтение и запись контрольных точек на уровне ТБ занимает много времени. В-третьих, обучение моделей со 100 миллиардами параметров требует огромных ресурсов GPU, поскольку отдельные GPU недостаточно эффективны, а обеспечение вывода в реальном времени на миллисекундном уровне для разговорных приложений является довольно сложной задачей. OceanStor A800 обеспечивает ошеломляющие 24 миллиона операций ввода-вывода в секунду и пропускную способность 500 ГБ/с в корпусе с одним контроллером, являясь высокопроизводительным решением для хранения хранилищ знаний ИИ. Благодаря производительности в четыре раза выше, чем у следующего участника конкурса, одна система хранения данных - это все, что вам нужно для загрузки учебных наборов в небольшие файлы и возобновляемого обучения с высокой пропускной способностью. Вы также получите доступ к ведущему внутреннему хранилищу векторных знаний, которое поддерживает крупные приложения для вывода моделей с производительностью более 250 000 QPS, обеспечивая ускоренный поиск векторов и отклик на вывод на миллисекундном уровне. Сверхвысокая производительность Наша революционная архитектура разделения управления данными обеспечивает прямой поток данных на диски, снижая нагрузку на процессор и обеспечивая 24 миллиона операций ввода-вывода в секунду на корпус контроллера.