Перейти к содержимому


Фотография

Может Кто-Нибудь Собрать Xidel (Парсер Html/xml/json) Под Mips ?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 35

#1 LordGenom

LordGenom

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 2281 сообщений
  • Gender:Male

Отправлено 06 November 2019 - 21:20

Собственно сабж. Если у кого-то из местных хорошо прокачан скилл по сборке приложений под никсы, может собрать данную тулзу. Исходники последней версии (0.9.8) тут. Хотя в целом можно и версию 0.9.4 т.к. если судить по готовому бинарнику для arm, версия 0.9.4 меньше 0.9.6/8 почти вчетверо. Я попробовал собрать, даде нашёл тулчейн, но обломал зубы об FreePascal :lol: так что прошу помощи у форумчан :)

Тулза интересна по большей части как парсер html, хотя её конечно можно использовать как комбайн для обработки всех форматов. Для парсинга json и xml на баше под mips на дюне есть инструменты (из entware), а для html'я - нет :(

p.s. xmlstarlet очень плохо подходит для парсинга html'я в отличии от xidel'я
Dune HD TV-102 (tv102_150721_0135_b9) Сист.флешка присутствует

#2 LordGenom

LordGenom

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 2281 сообщений
  • Gender:Male

Отправлено 05 December 2019 - 12:46

Благодаря человеку с другого форума был собран (им, не мной) бинарник утилиты xidel под архитектуру mipsel, которым я делюсь с форумчанами. Бинарник приаттачен к посту (так надёжней и долговечней), но разбит на 2 архива т.к. форум не позволяет аттачить файлы больше 2-х мб. После скачивания у файла xidel.z01.zip нужно убрать расширение .zip (т.к. форум не даёт загружать файлы специфических форматов) и распаковать архив начиная с файла xidel.zip

Прикрепленные файлы

  • Прикрепленный файл  xidel.zip   1023.8К   1 Количество загрузок:
  • Прикрепленный файл  xidel.z01.zip   1.54МБ   1 Количество загрузок:

Dune HD TV-102 (tv102_150721_0135_b9) Сист.флешка присутствует

#3 Brigadir

Brigadir

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4155 сообщений
  • Gender:Male
  • Location:Russia

Отправлено 05 December 2019 - 16:16

Для чего будете использовать, если не секрет?
Актуальная версия плагина Домашнее ТВ: v3.0b5 (10.05.2020)
Все мои (и не только) плагины Dune HD

Dune HD Pro 4K (191228_0342_r13)
Dune HD Sky 4K Plus (191228_0342_r13)
Dune HD Base 3D (170519_1351_r11) Сист. флешка присутствует
Dune HD TV-102 (190919_0242_r11) Сист. флешка присутствует

Отблагодарить автора (Yandex-деньги)

#4 LordGenom

LordGenom

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 2281 сообщений
  • Gender:Male

Отправлено 05 December 2019 - 17:49

Для чего будете использовать, если не секрет?

По большей части для парсинга html по xpath (с грехом пополам до этого делал это с xmlstarlet, но далеко не со всемии страницами он работал) и выковыриванию полезных данных. Крайне удобно. Ещё думаю, для работы с xml. Эта тулза намного удобнее, чем xmlstarlet + для xml синтаксис выражений xpath тот же, что и для html. Ну а если руки дойдут - посмотрю что там с обработкой json, пока jq привычней.

p.s. Тулза ещё умеет парсить html по css и xquery, плюс имеет кучу разных не опробованных функций, так что это очень мощный инструмент :)
Dune HD TV-102 (tv102_150721_0135_b9) Сист.флешка присутствует

#5 Brigadir

Brigadir

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4155 сообщений
  • Gender:Male
  • Location:Russia

Отправлено 05 December 2019 - 18:56

А не проще php-cgi задействовать? Тут и xml, и json и все остальное. Мощней PCRE еще ничего не придумано, парсить можно хоть бинарники)) Освоить один раз регулярки и не придется никогда заучивать частный синтаксис отдельных тулз.
Актуальная версия плагина Домашнее ТВ: v3.0b5 (10.05.2020)
Все мои (и не только) плагины Dune HD

Dune HD Pro 4K (191228_0342_r13)
Dune HD Sky 4K Plus (191228_0342_r13)
Dune HD Base 3D (170519_1351_r11) Сист. флешка присутствует
Dune HD TV-102 (190919_0242_r11) Сист. флешка присутствует

Отблагодарить автора (Yandex-деньги)

#6 LordGenom

LordGenom

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 2281 сообщений
  • Gender:Male

Отправлено 05 December 2019 - 19:30

А не проще php-cgi задействовать? Тут и xml, и json и все остальное.

У меня с php дела обстоят не особо, точнее практически никак :lol: Но я на подступах к нему :lol: А пока работаю преимущественно с башем, а там xidel - мощное подспорье :)

Мощней PCRE еще ничего не придумано, парсить можно хоть бинарники)) Освоить один раз регулярки и не придется никогда заучивать частный синтаксис отдельных тулз.

С перловскими регулярками я в общем и целом знаком (без излишних вывертов конечно), но от их использования я как раз и решил уйти на более "цивилизованный" вариант выдёргивания данных, нежели грепать их с html с опциями "-oP", как с бесформенного текстового массива.
Dune HD TV-102 (tv102_150721_0135_b9) Сист.флешка присутствует

#7 Brigadir

Brigadir

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4155 сообщений
  • Gender:Male
  • Location:Russia

Отправлено 05 December 2019 - 23:30

У меня с php дела обстоят не особо, точнее практически никак :lol: Но я на подступах к нему :lol: А пока работаю преимущественно с башем, а там xidel - мощное подспорье :)С перловскими регулярками я в общем и целом знаком (без излишних вывертов конечно), но от их использования я как раз и решил уйти на более "цивилизованный" вариант выдёргивания данных, нежели грепать их с html с опциями "-oP", как с бесформенного текстового массива.

Что вы, пхп это маст хэв. Гораздо эффективней потратить время на него, нежели на ксайдел и подобное. Применительно к тому же xml или html в пхп есть DOM, который позволит пробежаться по нодам подобно jqwery, читать/менять их свойства и т.д. Надо просто раз заставить себя поизучать php, на определенном этапе вы поймете что раньше зря теряли время. Ну и для php нужен хороший IDE, в блокнотике с одной лишь подсветкой синтаксиса комфорта и удовольствия вы не получите. Ну и регулярки в пхп - это нечто большее чем grep, sed и т.д. А на больших массивах данных пхп теоретически может дать прирост в скорости обработки.
Актуальная версия плагина Домашнее ТВ: v3.0b5 (10.05.2020)
Все мои (и не только) плагины Dune HD

Dune HD Pro 4K (191228_0342_r13)
Dune HD Sky 4K Plus (191228_0342_r13)
Dune HD Base 3D (170519_1351_r11) Сист. флешка присутствует
Dune HD TV-102 (190919_0242_r11) Сист. флешка присутствует

Отблагодарить автора (Yandex-деньги)

#8 LordGenom

LordGenom

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 2281 сообщений
  • Gender:Male

Отправлено 06 December 2019 - 08:28

Что вы, пхп это маст хэв.

Да я больше по консольке :lol: потому чем-то "полноценным" и не занимался - как правило для моих нужд это хватало, но потихоньку "запросы" растут ...

Гораздо эффективней потратить время на него, нежели на ксайдел и подобное. Применительно к тому же xml или html в пхп есть DOM, который позволит пробежаться по нодам подобно jqwery, читать/менять их свойства и т.д. Надо просто раз заставить себя поизучать php, на определенном этапе вы поймете что раньше зря теряли время.

Всё к этому и идёт, мб со временем и освою :)

Ну и для php нужен хороший IDE, в блокнотике с одной лишь подсветкой синтаксиса комфорта и удовольствия вы не получите. Ну и регулярки в пхп - это нечто большее чем grep, sed и т.д. А на больших массивах данных пхп теоретически может дать прирост в скорости обработки.

Ну тут я профан и смутно представляю о чём речь ибо не имел опыта работы в данном вопросе.
Dune HD TV-102 (tv102_150721_0135_b9) Сист.флешка присутствует

#9 Brigadir

Brigadir

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4155 сообщений
  • Gender:Male
  • Location:Russia

Отправлено 06 December 2019 - 09:26

Консолька это хорошо. Но медленно.
Погуглите "php ide" и поймете.
Актуальная версия плагина Домашнее ТВ: v3.0b5 (10.05.2020)
Все мои (и не только) плагины Dune HD

Dune HD Pro 4K (191228_0342_r13)
Dune HD Sky 4K Plus (191228_0342_r13)
Dune HD Base 3D (170519_1351_r11) Сист. флешка присутствует
Dune HD TV-102 (190919_0242_r11) Сист. флешка присутствует

Отблагодарить автора (Yandex-деньги)

#10 LordGenom

LordGenom

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 2281 сообщений
  • Gender:Male

Отправлено 06 December 2019 - 14:55

Погуглите "php ide" и поймете.

Уже )))
Dune HD TV-102 (tv102_150721_0135_b9) Сист.флешка присутствует

#11 denik79

denik79

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4174 сообщений
  • Gender:Not Telling

Отправлено 06 December 2019 - 16:15

Консолька это хорошо. Но медленно.
Погуглите "php ide" и поймете.

Я вот у программистов на работе спрашиваю про php а они никто не знают что это и с чем его едят (это если молодые),а старые говорят что php давно уже умер,сегодня говорят javascript,C # и ещё там какие какие-то (забыл)языки в приоритете.
Смысл в изучении php?Ради дюны?

#12 LordGenom

LordGenom

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 2281 сообщений
  • Gender:Male

Отправлено 06 December 2019 - 16:54

Смысл в изучении php?Ради дюны?

Ради возможности иметь под рукой инструмент, который будет работать практически на любом утюге. Баш (sh) в этом ещё универсальней, но он увы имеет ряд ограничений.
Dune HD TV-102 (tv102_150721_0135_b9) Сист.флешка присутствует

#13 Brigadir

Brigadir

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4155 сообщений
  • Gender:Male
  • Location:Russia

Отправлено 06 December 2019 - 23:03

Я вот у программистов на работе спрашиваю про php а они никто не знают что это и с чем его едят (это если молодые),а старые говорят что php давно уже умер,сегодня говорят javascript,C # и ещё там какие какие-то (забыл)языки в приоритете.
Смысл в изучении php?Ради дюны?

Php - язык серверных приложений, яваскрипт - работает в браузерах, т.е. на стороне клиента, на си шарпе пишут приложения под винду. Php ни с одним из указанных не пересекается по целям и задачам. Эх, молодежь... Сами они умерли, как программисты. А php всех нас вместе взятых переживет. И на сегодняшний день продолжает развиваться.

В народе часто программистами называют простых айтишников, которые там винду на компе чистят, офис ставят и т.д. Эти люди к программистам не имеют отношения. Вы наверное у таких "программистов" спрашивали? Программисты - это люди пишущие программы, код.
Актуальная версия плагина Домашнее ТВ: v3.0b5 (10.05.2020)
Все мои (и не только) плагины Dune HD

Dune HD Pro 4K (191228_0342_r13)
Dune HD Sky 4K Plus (191228_0342_r13)
Dune HD Base 3D (170519_1351_r11) Сист. флешка присутствует
Dune HD TV-102 (190919_0242_r11) Сист. флешка присутствует

Отблагодарить автора (Yandex-деньги)

#14 denik79

denik79

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4174 сообщений
  • Gender:Not Telling

Отправлено 07 December 2019 - 00:06

Php - язык серверных приложений, яваскрипт - работает в браузерах, .....

В народе часто программистами называют простых айтишников, которые там винду на компе чистят, офис ставят и т.д. Эти люди к программистам не имеют отношения. Вы наверное у таких "программистов" спрашивали? Программисты - это люди пишущие программы, код.

Javascript вообще-то немного больше чем "работает в браузерах" даже такой инструмент как мимикатз,переписан в виде javascript а этот инструмент к браузеру отношения никакого не имеет.
Я знаю про что вы говорите когда имеете ввиду it=программисты, я ещё много в Украине слышал когда обычных техников(Help desk) называют System Administrator Devops (если умеет открыть cmd или powershell) прочими непонятными для них словами.
У меня с этими понятиями всё в порядке.
Я спрашивал именно у программистов которые практически сами пишут код(сегодня мало кто сам пишет код как правило это копипаст),так же в поисках работы все реже встречается требование знания PHP,может совпадение?

#15 Brigadir

Brigadir

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4155 сообщений
  • Gender:Male
  • Location:Russia

Отправлено 07 December 2019 - 00:40

Я сказал мастхэв, не путайте с топом. Да, есть современные альтернативы набирающие популярность в виде питона, руби, и прочих. А если ковырнуть глубже, то этих интерпретаторов и компиляторов - пруд пруди развелось. Но если вернуться в контекст обсуждения, то, во-первых, речь не шла об обработке умопомрачительных объемов данных, или задействования возможностей недостижимых для php. Во-вторых, речь шла про дюну, в которую вживлен интерпретатор php, и грех было не воспользоваться им нежели лепить горбатого на баше. Я ровно об этом. А спорить об инструментах можно долго и нудно, и к сабжу это не имеет отношения.


Актуальная версия плагина Домашнее ТВ: v3.0b5 (10.05.2020)
Все мои (и не только) плагины Dune HD

Dune HD Pro 4K (191228_0342_r13)
Dune HD Sky 4K Plus (191228_0342_r13)
Dune HD Base 3D (170519_1351_r11) Сист. флешка присутствует
Dune HD TV-102 (190919_0242_r11) Сист. флешка присутствует

Отблагодарить автора (Yandex-деньги)

#16 denik79

denik79

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4174 сообщений
  • Gender:Not Telling

Отправлено 07 December 2019 - 01:21

Я сказал мастхэв, не путайте с топом. Да, есть современные альтернативы набирающие популярность в виде питона, руби, и прочих. А если ковырнуть глубже, то этих интерпретаторов и компиляторов

Питон компилятор? Вы наверное что то путаете,чет как то я в нем увидел намного больше чем просто компилятор.
РHP не просто так умирает или уже умер,наверное от того,что есть более мощные инструменты, которые умеют все что php и даже больше.
К сабжу это отношения не имеет,но это даёт прекрасную картину того,что сабж уже морально устаревает.Каких то глобальных изменений в прошивка нет,больше допиливание бесконечных багов.
Да что далеко ходить,взять ваш плагин к примеру,там все тормозит дико,epg грузится по пол минуты на канал,и никто ничего с этим не делает.

#17 Brigadir

Brigadir

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4155 сообщений
  • Gender:Male
  • Location:Russia

Отправлено 07 December 2019 - 03:37

Тогда кто вам мешает взять эти самые мощные инструменты и сделать лучше? Я сказал питон компилятор? Читаете между строк, любезный. Нехорошо...
Актуальная версия плагина Домашнее ТВ: v3.0b5 (10.05.2020)
Все мои (и не только) плагины Dune HD

Dune HD Pro 4K (191228_0342_r13)
Dune HD Sky 4K Plus (191228_0342_r13)
Dune HD Base 3D (170519_1351_r11) Сист. флешка присутствует
Dune HD TV-102 (190919_0242_r11) Сист. флешка присутствует

Отблагодарить автора (Yandex-деньги)

#18 Demetrius

Demetrius

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 16145 сообщений
  • Gender:Male
  • Location:Тюменская область

Отправлено 07 December 2019 - 09:07

Да что далеко ходить,взять ваш плагин к примеру,там все тормозит дико,epg грузится по пол минуты на канал,и никто ничего с этим не делает.

 

У меня на трёх плеерах не тормозит, EPG появляется сразу. 


0. Вы сейчас в интернете.
1. Вы на сайте http://forum.hdtv.ru
2. Вы читаете это.
4. Вы не заметили что отсутствует пункт 3.
5. Вы сейчас это проверили.
6. Вы улыбаетесь

#19 denik79

denik79

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4174 сообщений
  • Gender:Not Telling

Отправлено 07 December 2019 - 11:12

У меня на трёх плеерах не тормозит, EPG появляется сразу.

Ну тормозит не только у меня на neo4k а и у всех,кто про это пишет, а таких много,но это к данной теме отношения не имеет.

#20 denik79

denik79

    Маэстро комментариев

  • Пользователи
  • PipPipPipPipPipPipPip
  • 4174 сообщений
  • Gender:Not Telling

Отправлено 07 December 2019 - 11:22

Тогда кто вам мешает взять эти самые мощные инструменты и сделать лучше? Я сказал питон компилятор? Читаете между строк, любезный. Нехорошо...

Я не программист, но про роду деятельности знаю Powershell не более,хотя мне больше ничего и не нужно.
Как взять Powershell и написать на нем плагин для дюны я не в курсе,разбиратся с php ради этого лень,вот люди и пытаются использовать те инструменты которые знают.