Сообщений в теме: 31

[pvroman]

Доброго всем Дня! Уважаемые форумчане! Как воплотить в жизнь такой проэкт? ДАНО: 1.Dune HD Base 3.0: (прошивка последняя бета, системный раздел организован на флешке 2Гб, установлена Optware, внутренний HDD 1.5 TB) 2.FreeNAS: Версия 0.7.2 Sabanda (сборка 5543) Сборка от Sat Nov 6 08:54:38 CET 2010 Версия ОС FreeBSD 7.3-RELEASE-p3 (revision 199506) Платформа amd64-full на Intel® Pentium® Dual CPU E2140 @ 1.60GHz На фринасе поднят трансмишен. Структура каталогов трансмишена примерно такова: /mnt/WD_1Tb/All каталог куда падают уже готовые файлы контента /mnt/WD_1Tb/Transmission каталог куда падают кусочки закачки Нужно организовать автоматизацию переноса по сети готовых файлов с фринаса на диск Дюны с максимально возможной скоростью ну и скорее всего в определенное время. Уже голова кругом идет от обсасывания всевоможных вариантов, начиная от банального написания скрипта (но увы не мастак в этой области), который бы запускал ФТП соединение, до организации синхронизации каталогов с помощью сервера Rsync который кстати встроен во фринас. И по сему огромная просьба, может кто поможет мне реализовать сей проэкт? Не важно какими методами, участием, подсказками, обсуждением..... Всему буду очень признателен! Заранее всем спасибо!

[gmx]

Читайте в сети про команду cron.

[MikeMac]

с максимально возможной скоростью

Вы качните для примера ремукс-другой с NAS на Дюну, оцените скооооорость и проверьте - Вам еще это хочется?
А то проще из Дюны диск вытащить, во FreeNAS вставить и с него смотреть.

Если все равно хочется, наверное, rsync через cron

[MG]

Структура каталогов трансмишена примерно такова:
/mnt/WD_1Tb/All каталог куда падают уже готовые файлы контента
/mnt/WD_1Tb/Transmission каталог куда падают кусочки закачки

Если я правильно понимаю цель - может просто к /mnt/WD_1Tb/All примаунтить раздел харда дюны?

[pvroman]

Вы качните для примера ремукс-другой с NAS на Дюну, оцените скооооорость и проверьте - Вам еще это хочется?
А то проще из Дюны диск вытащить, во FreeNAS вставить и с него смотреть.

Если все равно хочется, наверное, rsync через cron

Не хотелось Вас обидеть, но все таки хотелось бы отделить мух от котлет!

Если все равно хочется, наверное, rsync через cron

На сколько мне известно, Rsync, без крона, позволяет организовать обмен данными, вернее синхронизацию данных в определенное время. Но вопрос в другом, есть ли возможность поднять на дуне клиента Rsync?
А то что касается скорости, не знаю, по ФТП сегодня пробывал, брюль в размере 25гиг льется на дуню примерно +-1 час 15минут. Не берусь рассуждать быстро это или нет, но меня это устраивает..... тем более ночью, когда сеть не загружена. Пробовал это делать средствами дюны, на такой же самый размер уходило времени в два а то и больше времени. Неоспоримый минус в этой ситуации - полнейшая занятость Дюны в плане просмотра!

А то проще из Дюны диск вытащить, во FreeNAS вставить и с него смотреть.

Согласен! Но человеческая натура имеет свойсво лениться! И в добавок...мысли умных людей, если что то находится в сети значит оно должно перемещаться по ней!
А лишние телодвижения с с дисками чреваты последствиями....
Спасибо за дискуссию, но тема остается открытой, и мой ответ не означает о том что Ваш ответ не имеет право на жизнь...Может и к вашему мнению я когда нибуь приду!

[pvroman]

Если я правильно понимаю цель - может просто к /mnt/WD_1Tb/All примаунтить раздел харда дюны?

Хммм... Обдумывася этот вопрос! И к стати он был один из первых. Но...
Как это сделать?
Примаунтив диск дюны к к фринасу и ипользуя локальный сервер синхронизации Rsync это был было бы не плохим вариантом! Но по какому протоколу работает Rsync и с какой скоротью будет происходить копирование файлов я не берусь рассуждать.
Из опыта копирования:
c FreeNas по SMB средствами дюны - потеря в скорости прим. в 1,5-2 раза отноительно ФТП соединения FreeNAS->Dune
c FreeNas по NFS тем же методом результат не очень отличается....
Плюс ко всему... Есть ли возможность отследить такую ситуацию, когда примаунтченый диск дюны вдруг по каким то причинам отваливается.....? Мало ли...
Обдумывался вопрос даже примаунтить внешний хард к фрюхе и сделать синхронизацию каталогов с ним, но то ли руки кривоваты, толи как собака, все понимаю а сказать не могу....
Почему то не получилось.
По этому и прошу помощи у вас!

[MG]

Но по какому протоколу работает Rsync и с какой скоротью будет происходить копирование файлов я не берусь рассуждать.

Полагаю, при копировании на примаунченный сетевой ресурс rsync'у не будет никакого дела до того, как ресурс подключен - он просто будет считать его локальным, а скорость будет ограничена пропускной способностью самой шары (NFS).
Правда я не в курсе, легко ли расшарить по NFS дюну и какая будет скорость.

В принципе можно рассмотреть еще пару вариантов:
1. Поднять на NAS'е торрент-сервер (трекер), автоматизировать постановку в раздачу готовых закачек для дюны, а дюной качать с этого сервера по торрент-протоколу. На первый взгляд, возможно, кажется коряво, но зато есть много и своих "прелестей"...
2. Организовать загрузку на дюну с помощью wget (здесь можно и по FTP), запущенного на самой дюне. Запускать можно как с помощью удаленного доступа с NAS'а, так и средствами самой дюны.

[MikeMac]

А лишние телодвижения с с дисками чреваты последствиями....

Я не то имел в виду. Сам имею Дюну больше года и тоже поднял FreeNAS. И потому Вы с похожим вариантом мне довольно симпатичны.

У меня после долгих вариаций - в NAS стоят 5 дисков - в Дюне ни одного. Но ничуть не настаиваю.

раз скорость устраивает - остальное технические проблемы. Честно скажу, Вашим вопросом не озадачивался.

MG>Правда я не в курсе, легко ли расшарить по NFS дюну и какая будет скорость.
IMHO на Дюне нет NFS сервера. Тема как-то краем обсуждалась, никаких попыток решить не приходилось видеть

MG>дюной качать с этого сервера по торрент-протоколу.
Даже если не срастется - мои аплодисменты за нестандартную идею. IMHO сервер поднимать не надо - торрент клиенты сами себя найдут в локальной сети. Другое дело автоматизировать все это я не представляю как...

[MG]

IMHO сервер поднимать не надо - торрент клиенты сами себя найдут в локальной сети. Другое дело автоматизировать все это я не представляю как...

В случае utorrenta - найдут, насчет дюновского btpd - не уверен (специально не заморачивался, но у меня сложилось такое впечатление, что не очень-то ищутся ). Ну и чтоб не грузить раздачей (впрочем, это можно решить путем ограничения скорости отдачи).
Второй момент - вероятно имеет смысл качать только у себя-же, а не у всех доступных (хотя тут зависит от пожеланий владельца). Для этого и предложен свой трекер.
Автоматизировать, имхо, не очень сложно - выявить готовые раздачи, запустить создание торрент-файлов (можно пропустить если качать все подряд), дать команду клиенту дюны на закачку (например скриптом посредством телнета, либо скрипт на дюне, запускающий торрент-файлы из определенной папки - вариантов много).
Кстати, можно ведь и параллельно качать дюной и NAS'ом (в смысле одновременно стартовать закачки), но дюне запретить качать (и/или отдавать) снаружи - чтоб дюна брала уже скачанный NAS'ом контент - тогда разница между готовностью контента на NAS'е и Дюне будет минимальна...

[MG]

IMHO на Дюне нет NFS сервера. Тема как-то краем обсуждалась, никаких попыток решить не приходилось видеть

Не буду спорить, но АВАТАРА утверждал, что User-space NFS-сервер есть в репозитории Optware...

[pvroman]

Ну вот и начинается конструктивный разговор! А это радует, и думаю что коллективный разум всегда побеждает!!!!!!

Не буду спорить, но АВАТАРА утверждал, что User-space NFS-сервер есть в репозитории Optware...

Даже если поднять сервак на дюне, и примаунтить диск к Nas-у, то скорость всеравно будет никакешка!
Скорее всего это будет как запасной вариант.

Поднять на NAS'е торрент-сервер (трекер), автоматизировать постановку в раздачу готовых закачек для дюны, а дюной качать с этого сервера по торрент-протоколу. На первый взгляд, возможно, кажется коряво, но зато есть много и своих "прелестей"...

А это действительно нестандартное решение, но опять таки NAS изначально организовывался как основная качалка, дабы дуня спокойно себя чухала, и использовалась по прямому назначению для воспроизведения контента.
А для общего развития, можно по подробней о прелестях организации торрент-сервера, или киньте ссылочку где можно почитать обстоятельно об этом, дабы не переворачивать гуглю с ног на голову.

Организовать загрузку на дюну с помощью wget (здесь можно и по FTP), запущенного на самой дюне. Запускать можно как с помощью удаленного доступа с NAS'а, так и средствами самой дюны.

А здесь можно разойтись не подетски! И думаю нужно прежде всего начинать обсуждение с алгоритма выполнения команд в скрипте, который в любом случае нужно будет писать.

[pvroman]

Вы с похожим вариантом мне довольно симпатичны.
У меня после долгих вариаций - в NAS стоят 5 дисков - в Дюне ни одного. Но ничуть не настаиваю.
раз скорость устраивает - остальное технические проблемы. Честно скажу, Вашим вопросом не озадачивался.

Мне тоже приятно, что есть люди имеющие примерно такую же конфигурацию оборудования, и с которыми есть возможность обсуждать наболевшие вопросы.
Я бы тоже не озадачивался проблемой переноса файлов с NASa на диск дюны, если бы смотрел только легкий контент.
Но качнув блюрики я понял, что попал! Не хотят они у меня по сети нормально без затыков воспроизводиться....
Перепробывал кучу вариантов, и по SMB и по NFS_UDP, NFS_TCP....результат один и тот же - затыкается!
На сколько я понимаю у Вас такой проблемы несуществует, раз в Дюне нет HDD?
По этому я и пришел к выводу, что как то это все, или хотя бы частично нужно переносить на диск дюны. Вижу еще плюс в той ситуации, что частично делается как бы бекап фильмотеки. Если ложится фринас, то вы понимаете чем это чревато....А я уже прочувствовал на себе это, причем в банальной ситуации, при обновлении с 7.1 на 7.2 . Благо диск всего на 1Тб и часть всеравно была скопирована на плеер. Но тем неменее всеравно обидно.
Единственное что не пробывал, подключить NAS напрямую в дюну и попробовать воспроизвести например Аватара. Если он пойдет нормально, то естесно нужно будет искать узкое место в сетке, или как то по другому ее организовывать!

[MG]

Перепробывал кучу вариантов, и по SMB и по NFS_UDP, NFS_TCP....результат один и тот же - затыкается!
...
Единственное что не пробывал, подключить NAS напрямую в дюну и попробовать воспроизвести например Аватара. Если он пойдет нормально, то естесно нужно будет искать узкое место в сетке, или как то по другому ее организовывать!

Конечно битрейт битрейту рознь. Но если вопрос в тормозах при проигрывании с наса по сети - имхо нужно искать узкое место. Найти контент, который не пролезет через проводную сетку в дюну (снова имхо) - не так уж просто...

[MG]

А для общего развития, можно по подробней о прелестях организации торрент-сервера, или киньте ссылочку где можно почитать обстоятельно об этом, дабы не переворачивать гуглю с ног на голову.

Собственно я не специалист. Но, например, банальный мюторрент с включенной опцией bt.enable_tracker разрешает встроенный трекер с адресом http://ваш_IP:порт/announce... Вот я такой путь использовал для перекачки очень больших объемов инфы между удаленными машинами. Т.е. активировал опцию, делал торрент-файл на машине источнике и вытягивал хостом-приемником. Основное достоинство - простота, доступность и надежность.
Еще существуют т.н. псевдотрекеры (ретрекры) - может что-то там есть интересное...

А здесь можно разойтись не подетски! И думаю нужно прежде всего начинать обсуждение с алгоритма выполнения команд в скрипте, который в любом случае нужно будет писать.

Ну так здесь нужно определяться, где будет запускаться скрипт, из каких соображений выбираться подлежащий перекачиванию контент и т.п... Сам скрипт особой сложности представлять не должен. Должна быть четкая постановка задачи.

[pvroman]

Конечно битрейт битрейту рознь. Но если вопрос в тормозах при проигрывании с наса по сети - имхо нужно искать узкое место. Найти контент, который не пролезет через проводную сетку в дюну (снова имхо) - не так уж просто...

Но увы такая проблема присуствует.
Причем заметил некую закономерность: все что меньше чем примерно 15-20 гиг, причем не важно в каком формате, по сетке воспроизводиться без проблем! А после 20 гиг начинаются проблемы. Такое впечатлени, что нехватает буфера воспроизведения. И это в основном происходит при резкой смене картинки, типа взрыв в фильме, хотя и не факт. Наблюдал график сетевой карты на NAS-е, уж очень резкие перепады скорости, хотя верить или не верить этому графику вопрос спорный!
Да, кстати....тоже интересное наблюдение! Пробовал подымать UpNP сервак, только на виндовой машине, через него проблемные блюрики по сетке ходят как дети в школу! Короче как в поговорке: "Ванька дома - Маньки нету.....Манька дома - Ваньки нету"

[MG]

Наблюдал график сетевой карты на NAS-е, уж очень резкие перепады скорости, хотя верить или не верить этому графику вопрос спорный!
Да, кстати....тоже интересное наблюдение! Пробовал подымать UpNP сервак, только на виндовой машине, через него проблемные блюрики по сетке ходят как дети в школу! Короче как в поговорке: "Ванька дома - Маньки нету.....Манька дома - Ваньки нету"

Так может NAS чем-то пергружен или подглючивает, может сетевые проблемы? 15-20 гиг (на полтора часа) - низковатая планка для связки NAS-ethernet-Dune...

[olmer2002]

Так может NAS чем-то пергружен или подглючивает, может сетевые проблемы? 15-20 гиг (на полтора часа) - низковатая планка для связки NAS-ethernet-Dune...

когда такие скачки на сетевом интерфейсе, паралельно нужно смотреть как идет трафик, может он через шлюз текет и там застревает, а в случае с NAS обязательно на загрузку ЦП и дисковые очереди, бывает так,что там винты ребилдятся или из-за какой-нить какахи дисковые очереди забиты под завязку.

а так конечно планка низковата, согласен.

[MikeMac]

Перепробывал кучу вариантов, и по SMB и по NFS_UDP, NFS_TCP....результат один и тот же - затыкается!
На сколько я понимаю у Вас такой проблемы несуществует, раз в Дюне нет HDD?

Текущий мой конфиг - SMB, быстрый доступ к сети ПОДНЯТ
На FreeNAS надо либо принудительно выставить спецом для Дюны 100-base TX, либо (результат тыканья ifconfig) в дополнительных параметрах ifconfig в соотв экране гуя вставить -tso

Результат - все смотрится, включая BD Аватар. NAS у меня достаточно слабый - Атом 330, зеленые диски, реалтек встроенный в маму. При этом ZFS RAIDZ, который процессора хочет. Без ZFS, на тестовой конфигурации - хватало скорости на каком-то древнем целероне поколения P3.

так что задача просмотра BD Дюной с FreeNAS решаема. Проще всего измерить скорость считывания Дюной сетевого файла. Минимум достаточный 8 мег в сек, у меня где-то 9-10

[pvroman]

Ну так здесь нужно определяться, где будет запускаться скрипт, из каких соображений выбираться подлежащий перекачиванию контент и т.п... Сам скрипт особой сложности представлять не должен. Должна быть четкая постановка задачи.

Мое видение этой ситуации таково:
Инициатором как мне кажеться должен выступать NAS сервер и исполняемый скрипт должен крутиться по крону.
Проверяем доступность дюны в сети(например ping)
Читаем из файла начальную/конечную дату и время для команды find
Затем цикл по истинност нахождения файла с нужной датой.
командой find фильтруется по дате и времени создания первый(второй, третий.....) претендент на копирование.
далее копируем его на дюну(например как вы предложили тот же wget по фтп протоколу, а может всплывут и другие методы)
думаю, на каком то этапе должна присуствовать какая то обработка ошибок.....
конец цыкла
перезаписываем файл даты на новый, с датой и временем создания последнего скопированного файла.
ну и естесно как то нужно это все каким то образом запротоколировать!

Примерно где то так.....

[olmer2002]

unison никак не прикрутить к Дюне? можно было бы тогда и в этом направлении поглядеть...