newsare.net
Завершение процесса обучения модели — это, как правило, не конец проблемы, а только её начало.Сразу же возникают вопросы. Как передать резуль
[Перевод] Технический обзор S3-совместимого общего ресурса на СХД QSAN
Завершение процесса обучения модели — это, как правило, не конец проблемы, а только её начало.Сразу же возникают вопросы. Как передать результаты команде аналитиков из соседнего отдела? Где найти актуальную копию того размеченного набора данных, с которым работали на прошлой неделе? Следующему этапу конвейера (pipeline) результаты инференса нужны уже через несколько минут — придется ли снова запускать задачу копирования?Большинство команд вкладывают значительные средства в инфраструктуру для обучения: быстрые диски, сети с поддержкой RDMA, специализированные коммутаторы. Однако этап передачи данных зачастую по-прежнему выполняется вручную: копирование через scp, открытие доступа к общей папке на GPU-сервере и опора на устные договоренности о том, в какой именно директории лежит верная версия. Если практиковать такой подход достаточно долго, каждая из этих привычек обрастает собственным набором проблем.Функция S3 Compatible Share, доступная начиная с версии QSM 4.3.1, призвана устранить именно этот пробел. Она позволяет использовать один и тот же общий файловый ресурс одновременно для работы с объектным API (S3) и файловыми протоколами (NFS/SMB). Никаких дублирующих наборов данных или фоновой синхронизации — только один комплект файлов с двумя способами доступа к ним.Эта статья адресована трем категориям читателей: специалистам, проектирующим инфраструктуру для ИИ или аналитики; администраторам систем хранения данных, выбирающим между объектным шлюзом и репликацией; а также разработчикам клиентского ПО. Читать далее Read more
03:45
03:24
15:50
