Хранение данных для AI: веса, индексы, checkpoints и резерв

AI-проект хранит несколько типов данных с разным поведением: исходные документы, подготовленные датасеты, веса моделей, индексы поиска, журналы и результаты. У них разные требования к скорости, сохранности и сроку хранения. Один большой диск редко описывает решение целиком.

Разделите данные по назначению

Веса читаются при загрузке и обновлении модели. Датасет может непрерывно читаться во время обучения. Checkpoints записываются периодически и должны позволять восстановить работу. Индекс RAG обслуживает запросы и обновления. Журналы нужны для диагностики, но не должны бесконтрольно накапливать документы пользователей.

Составьте инвентарную таблицу: объём сейчас, прирост, тип чтения и записи, допустимая потеря и время восстановления. Если данные можно пересоздать, укажите источник и стоимость пересоздания. Иногда восстановить индекс из документов возможно, но слишком долго для требований сервиса.

Данные	Типичная проверка
Веса	Время загрузки и контроль целостности
Датасет	Скорость подачи без простоя GPU
Checkpoints	Время записи и успешный resume
Поисковый индекс	Задержка запросов с фильтрами
Резервные копии	Реальное восстановление на другом узле

Таблица является методикой проектирования; конкретные цифры зависят от приложения.

Считайте объём с версиями

Если рабочая модель занимает условные 60 GB, одна копия не равна всему бюджету. Могут понадобиться предыдущая версия, новый артефакт для проверки, временная распаковка и резерв. Для обучения добавляются состояния оптимизатора и промежуточные сохранения.

Задайте правила хранения: сколько версий оставлять, когда удалять промежуточные файлы и кто разрешает очистку. Свободное место контролируйте до полного заполнения. Переполненный диск может остановить приложение даже при свободной VRAM.

Проверьте путь данных

Для обучения измерьте, успевает ли CPU подготавливать данные и передавать их в GPU. Для RAG отдельно измерьте чтение индекса и фильтрацию. Для сервиса с редкими перезапусками скорость загрузки весов может быть менее важна, чем предсказуемость восстановления после отказа.

NVIDIA GPUDirect Storage предоставляет путь передачи между хранилищем и памятью GPU без промежуточного копирования через CPU в поддерживаемой схеме. 1 Это специализированная возможность. Она не означает, что покупка любого NVMe автоматически ускоряет всякую LLM-нагрузку.

Не путайте отказоустойчивость с резервной копией

Дублирование дисков помогает пережить некоторые аппаратные отказы. Оно не защищает от удаления, логической порчи или ошибочного обновления, которое затронуло все копии. Резервная копия должна иметь отдельную процедуру создания, хранения и восстановления.

Для базы поиска учитывайте её собственный формат снимков и ограничения версии. Но полное восстановление RAG может также требовать исходных документов, метаданных прав и конфигурации эмбеддингов. Qdrant отдельно описывает планирование памяти и хранения различных компонентов коллекции. 2

Задайте проверяемое восстановление

Выберите допустимое время восстановления и объём возможной потери данных. Затем проверьте процедуру на чистой среде. Убедитесь, что есть ключи доступа, совместимая версия приложения, настройки и все необходимые файлы.

Запишите фактическое время и найденные ручные шаги. Копия, которую никто не пробовал восстанавливать, остаётся непроверенной гипотезой. Если процесс требует знания одного инженера, документацию надо дополнить до передачи системы.

Что включить в запрос поставщику

Передайте профиль операций, объём версий, требования восстановления и предполагаемый рост. Попросите расчёт всей схемы, включая резерв и обслуживание, а не только цену терабайта. Для RAG-инфраструктуры свяжите требования дисков с поиском и обновлением документов. Для обучения используйте гайд по GPU и тренировочному рецепту. Так хранилище станет частью работающего процесса, а не остаточной строкой спецификации.