5 replies to this topic

[aka_inc]

Прошу помощи в следующем вопросе.
Как организовать запись видеоархива (2 сервера по терабайту новых данных на каждом ежедневно) на ленту и последующее произвольное чтение любого файла с ленты. Желательно, чтобы весь пул на ленточной библиотеке виделся в системе одним динамическим диском большого объема.

Архивы хранятся на дисковом хранилище IBM DS 4200 и подключены к серверам по оптике через SAN-маршрутизаторы.

Также к SAN-маршрутизаторам подключена ленточная библиотека IBM TS3584 с двумя драйвами. Видеосерверы работают под управлением Windows Server 2008 x86 RUS и очень сильно нагружены по сети входящим трафиком (до 1.6 Гбит/с). Скорости записи на ленту по сети не достаточно. На запись одного часа данных видеоархива уходит часа три реального времени.

Испробованы три варианта записи на ленту:

1. Запись велась с удаленных клиентов Tivoli Storage manager, установленных на двух видеосерверах. Сервер TSM работал на третьем сервере. Данные с клиентов на TSM-сервер передавались по локальной сети, а уже сам TSM-сервер отправлял данные на ленточную библиотеку по оптике. Передавать данные по оптике не получается, так как на TSM-клиентах не работает Lan-Free. Lan-Free не работает из-за неработающей слуюбы TSM Agent. Запустить службу TSM Agent так и не удалось. Официальной поддержки IBM Tivoli Storage Manager у нас нет, так как программа официально не куплена и использовалась для проверки ее пригодности для наших нужд. Предаврительный вывод: программа не годится из-за того, что не успевает складывать видеоархив на ленту, а также нет средств произвольного доступа к видеоархиву с ленты через используемое нами ПО.

2. Диски на двух видеосерверах были расшарены по сети, и третий сервер с Windows Server 2003 и NtBackup копировал данные с расшаренных дисков на ленту. Результат тот же. Данные с видеосерверов копировались на ленту дольше, чем они появлялись на видеосерверах. Произвольный доступ к видеоархиву, хранящемуся на ленточном накопителе, средствами используемого нами ПО возможен только с помощью дополнительной программы, которую еще нужно написать.

3. Установили пробную версию XenData, которая проработала всего один день после активации. За это время не успели проверить ее пригодность для наших нужд. В системе появился виртуальный динамический диск большого объема. Но и в таком случае возникают подозрения, что скорости записи на ленту будет не хватать, так как запись на этот виртуальный диск будет проходить тоже по локальной сети.

[megagleb]

Добрый день .

Какой объем примерно пишется за 1 час?

[aka_inc]

За день на двух видеосерверах генерируется около двух терабайт данных.
Серверы загружены почти под завязку, и в скором будущем нагрузка на них еще увеличится. Количество видеосерверов будет еще увеличено. Хотелось бы использовать схему, когда на отдельном сервере создается сервер архивации на ленту, и этот сервер собирает данные с клиентских машин (видеосерверов). При этом данные с клиентских машин должны передаваться на ленточную библиотеку по оптическому каналу. Программа должна уметь работать со множеством картриджей (пулом) и распараллеливать работу на два драйва, иметь возможность записывать определенные файлы по маске по расписанию и считывать произвольные файлы с любого картриджа из пула. Чтобы считывание с ленты произвольного файла можно было запустить или через командную строку или путем вызова программной функции из комплекта SDK. Или же вообще, чтобы программа (типа XanData) создала виртуальный диск большого объема, и удаленные видеосерверы могли записывать на этот диск по оптике, а наше ПО видеонаблюления имело возможность считывать архивные видеозаписи с ленты простым обращением к файлу на этом диске.

Добавлю, что замер скорости записи на ленточную библиотеку с помощью родной утилиты IBM показал скорости 120 МБ/с без сжатия и 320 МБ/с со сжатием. Ленточки LTO Ultrium4.

[megagleb]

Добрый день.

Приводы LTO4 должны успевать писать ваши объемы, так что смотрите на каком участке

идет потеря. Оптические контроллеры с http://www.goodstor.ru/dir_transiver.htm в маршрутизаторе должны быть не менее 2Gb,

проверьте все соединения может где оптика придавлена или трансивер неисправен (пробуйте заменить).

Сколько хвостов идет к библиотеке?(для ширины канала лучше два).

[aka_inc]

Нашел узкое место в системе - это дисковое хранилище. Второе узкое место - локальная сеть, от которой удалось уйти некоторыми хитрыми манипуляциями. Все устройства соединены по двум параллельным 4Гб оптическим каналам через два маршрутизатора. Как только решу проблему с узкими местами, останется еще одна проблема - произвольный доступ к файлам видеоархива из ПО видеонаблюдения. Используя какую программу архивирования можно легко преодолеть грядущую проблему?

[Банкожуй]

Больше всего тут непонятно, как увязать программу архивирования и ПО видеонаблюдения..