Сообщений в теме: 2143

[euro1966]

Могу помочь только ссылками на программу.http://www.teleguide...w3/xmltv.xml.gz
http://www.teleguide...ld/xmltv.xml.gz
http://iptv.matrixho...ad/xmltv.xml.gz
http://programtv.ru/xmltv.xml.gz
http://api.torrent-t...tv.xmltv.xml.gz
https://iptvx.one/epg/epg_lite.xml.gz
http://epg.in.ua/epg...rogram_ua_ru.gz
http://www.kinokrug....kinokrug-xml.gz

[TrippyCat]

спасибо поизучаю, даже уже нашел полезное    если я правильно понял в том же коди канал привязывается к епг xmltv или по имени или по tvg-id

 

 

Как я писал ранее в какихто темах - планирую сделать epg сервер с xmltv который будет скачивать это дело и распаковывать и парсить раз в неделю или когда вы ему укажете.

Но возникает вопрос как связвать каналы из плагина  с xmltv. По имени и по id это понятно, но если это канал из плейлиста по ссылке его же не поредактируешь. 

 

ЗЫ Так же еще к  xmltv и jtv планируется и может какие другие просто сайты типа мыла ру.

[gh0stline]

Или сделать так чтобы люди могли свой источник ЕПГ прописывать.

Просто у многих плейлистов свой источник ЕПГ.

[TrippyCat]

В каком смысле свой источник ЕПГ прописывать? Вы про ссылку на архив xmltv?  Или какую ссылку?

 

Так да, ее и придется прописывать, так как это не на лету все а надо скачать архив, распаковать распарсить - я один скачал так так файл 40 мегабайт, для его обработки потребуется какое то время. 

 

Вся сложность в том что плейлист может быть не один, в одном может прописана быть ссылка на  xmltv и каналы названны как надо или прописаны  tvg-id и из него будут каналы подхватыватся, а в остальных 10 плейлистах этого нет.  Тут уже надо как то их связывать или в IPTV плагине или в EPG плагине или через вебморду.

 

У канала для привязки к EPG есть пару средств имя или tvg-id. tvg-id не везде есть, в плейлисте tvg-id может быть прописано для одного архива  xmltv а вы используете другой и  tvg-id там другие и получаете совсем не то epg которое должно быть. Поэтому надо ориентироватся на имя, но имена же могуть быть какие угодно:

- Discovery

- Discovery channel

- Discovery tv

- канал Discovery

 и так далее... не говоря про названия кирилических каналов латиницей и т.д.

 

Поэтому каналы как то связывать надо с тем xmltv которое вы будете использовать.  А как их связывать.... что бы понятно было для женщин стариков и детей я пока не придумал. 

[gh0stline]

Например я смотрю на данный момент плейлист от одного провайдера. У них же есть ссылка для епг именно для своего плейлиста. Или даже бывает так что епг и Архив в плейлисте прописано.

[Brigadir]

В каком смысле свой источник ЕПГ прописывать? Вы про ссылку на архив xmltv? Или какую ссылку?

Так да, ее и придется прописывать, так как это не на лету все а надо скачать архив, распаковать распарсить - я один скачал так так файл 40 мегабайт, для его обработки потребуется какое то время.

Вся сложность в том что плейлист может быть не один, в одном может прописана быть ссылка на xmltv и каналы названны как надо или прописаны tvg-id и из него будут каналы подхватыватся, а в остальных 10 плейлистах этого нет. Тут уже надо как то их связывать или в IPTV плагине или в EPG плагине или через вебморду.

У канала для привязки к EPG есть пару средств имя или tvg-id. tvg-id не везде есть, в плейлисте tvg-id может быть прописано для одного архива xmltv а вы используете другой и tvg-id там другие и получаете совсем не то epg которое должно быть. Поэтому надо ориентироватся на имя, но имена же могуть быть какие угодно:
- Discovery
- Discovery channel
- Discovery tv
- канал Discovery
и так далее... не говоря про названия кирилических каналов латиницей и т.д.

Поэтому каналы как то связывать надо с тем xmltv которое вы будете использовать. А как их связывать.... что бы понятно было для женщин стариков и детей я пока не придумал.

Конечно по имени, но. Имя нужно канонизировать отбросив приставки-паразиты типа HD, UHD, channel, TV, ТВ и т.д. и переведя в нижний регистр (но тут надо действовать с умом, чтобы не остаться с "Н" от "НТВ" после парсинга). Хэш оставшегося можно считать идентификатором. Одинаковый алгоритм канонизации и в ТВ плагине и в ЕПГ плагине-парсере даст гарантированное совпадение идентификаторов. Подход с канонизацией используется в домашнем, правда плюсом я добавил замещение символов кирилицы одинаковых выглядящих в латинице (напр. "ТНТ" в кирилице и на латинице в верхнем регистре выглядят одинаково, такие ляпы встречаются часто, и канал может нераспознаться), и возможность управлять правилами парсинга удаленно. Звучит сложно, но на деле реализуется просто, главное взять базу названий каналов пошире и на ней оттачивать.

[TrippyCat]

В этом плагине же плейлисты добавляются в общий список, это только в альте вы можете смотреть "плейлист от одного провайдера". Или вы вообще имеете ввиду что у вас 1 плейлист? Я тиливизир не смотрю у меня и то 3 штуки    а тут есть колекционеры с овер 1К каналов. Эти плагины что лайт что альт задумывались под больше 1 плейлиста. 

[TrippyCat]

Конечно по имени, но. Имя нужно канонизировать отбросив приставки-паразиты типа HD, UHD, channel, TV, ТВ и т.д. и переведя в нижний регистр (но тут надо действовать с умом, чтобы не остаться с "Н" от "НТВ" после парсинга). Хэш оставшегося можно считать идентификатором. Одинаковый алгоритм канонизации и в ТВ плагине и в ЕПГ плагине-парсере даст гарантированное совпадение идентификаторов. Подход с канонизацией используется в домашнем, правда плюсом я добавил замещение символов кирилицы одинаковых выглядящих в латинице (напр. "ТНТ" в кирилице и на латинице в верхнем регистре выглядят одинаково, такие ляпы встречаются часто, и канал может нераспознаться), и возможность управлять правилами парсинга удаленно. Звучит сложно, но на деле реализуется просто, главное взять рвбазу названий каналов пошире и на ней оттачивать.

У HD и не HD разве не разные программы? на том же всетв у них отдельные странички. Оно так же и работает еще со времен исаева кроме отброса "приставок паразитов". Почему не использовал отброс присатвок даже и не могу вспомнить - или недодумался или что помешало. Так как сама возможность удалять всякие куски названий на сколько помню в altiptv есть.

[Brigadir]

У HD и не HD разве не разные программы? на том же всетв у них отдельные странички. Оно так же и работает еще со времен исаева кроме отброса "приставок паразитов". Почему не использовал отброс присатвок даже и не могу вспомнить - или недодумался или что помешало. Так как сама возможность удалять всякие куски названий на сколько помню в altiptv есть.

Где-то разные, но в подавляющем большинстве - дубли. Тут не в лоб надо, нужен гибкий подход. У Исаева тупо название из всетв хэшируется, и хэш "Первого КаНаЛа" из плейлиста просто не совпадет с исаевским.

[Brigadir]

Для понимания мною сказанного вот как выглядят ID после канонизации в домашнем (исходное имя канала из плейлиста - колонка bcName):

 

[TrippyCat]

У него убираются пробелы + перевод в нижний регистр через strtolower 

return md5(strtolower(str_replace(array("\r", "\n", "\"", " "), '', $caption)));

но изза strtolower с кирилицей проблемы, я чуть расширил количество символов удаляемых и использую mb_strtolower($str, 'UTF-8')  но все равно по факту обучать приходится много (20-30% не распознается), наверное дело в "приставках паразитах". 

Еще проблема в разных версиях однго канала:

Fox Life Россия HD
Fox Life Украина, Литва, СНГ

[Brigadir]

С кирилицей в юникоде всегда были и будут проблемы. Ее нужно конвертить в Win-1251 кодировку, сделать свои дела, и обратно сконвертить в юникод. Вот тогда будет порядок. Пример с фоксом вообще не проблема, после канонизации это будут разные каналы с разными идентами. Удалять необходимо не только пробелы, но и знаки препинания со спецсимволами. На выходе мы должны получить короткую, но все еще уникальную последовательность читаемых символов в одном регистре.

[Brigadir]

Ну и конечно же не обойтись без словарей с алиасами (псевдонимами). Например "5 канал" и "Пятый канал" а также "Петербург Пятый канал" никак не слить воедино, кроме поиска в словарях. Вот эти словари, а точнее правила парсинга с алиасами (по сути это набор регулярок) у меня могут изменяться извне. Вот так они выглядят (синтаксис регулярка1,регулярка2,регулярка3|||замена3,регулярка4...)

 

[TrippyCat]

С кирилицей в юникоде всегда были и будут проблемы. Ее нужно конвертить в Win-1251 кодировку, сделать свои дела, и обратно сконвертить в юникод. Вот тогда будет порядок. Пример с фоксом вообще не проблема, после канонизации это будут разные каналы с разными идентами. Удалять необходимо не только пробелы, но и знаки препинания со спецсимволами. На выходе мы должны получить короткую, но все еще уникальную последовательность читаемых символов в одном регистре.

mb_strtolower($str, 'UTF-8') решает проблему с кирилицей, то что у тебя в табличке я делаю начиная с altiptv уже давно, но проблем хватает изза того что каналы могут быть для разных регионов. И таки да я не подумал про "замещение символов кирилицы одинаковых выглядящих в латинице" ну и с паразитами 

 

 

Пример с фоксом вообще не проблема, после канонизации это будут разные каналы с разными идентами. 

таки проблема, так как это я взял со встев тоесть у нас два хеша, но вот в плейлисте никто не указывает Fox Life Украина, Литва, СНГ в лучшем случае это будет Fox Life Украина а так и Fox Life Укр или прото Fox Life или даже Life 

[Brigadir]

mb_strtolower($str, 'UTF-8') решает проблему с кирилицей

 

Не всегда, ты просто не встречался с юникодом кирилицы в плейлистах ростелекома, вот где анархия полная. Но для начала можно и этим ограничиться, бесспорно.

[TrippyCat]

ЗЫ Посмотрел в какомто скачанном xmltv все таки есть отдельно каналы HD 

[Brigadir]

ЗЫ Посмотрел в какомто скачанном xmltv все таки есть отдельно каналы HD 

 

Есть конечно, Discovery и Discovery HD - у них разные сетки вещания. Я ж говорю, не в лоб, обтекаемо надо.

[andy555]

"скачать архив, распаковать распарсить - я один скачал так так файл 40 мегабайт, для его обработки потребуется какое то время."
Я добавлю, если можно
А есть и более 100 мб. Тут будет проблема

[TrippyCat]

А можно ссылку на такой. Для теста пригодится. 

[eu8cc]

http://www.teleguide...w3/xmltv.xml.gz
 
Разархивировав получим: 42Мб
Строк: 553349