Форум МАКАТЕЛ

Оборудование и SOFT => Программы, прошивки, сервисы и т.п. => Тема начата: 1076 от 18.07.2015, 15:28

Название: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 18.07.2015, 15:28
Получая программу  у EPG- провайдеров  или еще  где-  то :D  столкнулся  с  частыми расхождениями программы и  того  что  на  экране.
Причем на сайтах  каналов  содержалась актуальная  инфа.
+ нужны  программы  местных  вещателей, у  них  свои  сайты.
В  общем  нарылась  и  работает  вот эта  вещь.
WebGrab+Plus  http://www.webgrabplus.com/documentation/quick-start (http://www.webgrabplus.com/documentation/quick-start)

Проблема  допилить  конфигурацию для  грабления  программ  с  сайтов  каналов.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: samwit от 18.07.2015, 20:21
на сайтах каналов очень часто скудная телепрограмма, более полную они предоставляют в рассылках и скорее всего тем, кто платит.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: sky star от 19.07.2015, 06:41
в рассылке обычно самый верняк
по крайней мере иностранные почти всегда 100% попадают
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 19.07.2015, 13:00
Не хватает знаний  и  времени :(:(

Можно  было  бы  идеальный  EPG  под  себя  настроить.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: sky star от 19.07.2015, 15:01
у нас один человек работает постоянно при EPG сервере (у него еще куча и других дел),
другой может все тоже самое , но занимается CAS ,
оба могут заменять друг друга,
и с "забивкой" EPG проблем нет,
другое дело его точность
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 19.07.2015, 15:07
Цитировать
sky star написал:
у нас один человек работает постоянно при EPG сервере (у него еще куча и других дел),
другой может все тоже самое , но занимается CAS ,
оба могут заменять друг друга,
и с "забивкой" EPG проблем нет,
другое дело его точность

Ничосе !
Никогда у  меня вручную  ничего  не  забивалось,  все  автоматом  работало.
и CAS тоже.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: sky star от 19.07.2015, 15:19
по EPG все что присылается компаниями, имеет абсолютно разношестномастную форму представления программы передач, от pdf word до html страниц, само автоматом это прожеваться врядли сможет, учитывая что подать надо я уж не помню к какой кодировке, по этому у "спеца" понаделано скриптов, более того,
по соглашению мы не выкладываем EPG более чем на 1 неделю, иначе наша же печатная газета разориться

по CAS сейчас мы ведем процесс адаптации новой версии нашей CAS с новым билингом
человек работает над этим плотно

оба человека могут заменять друг друга (что бы не получилось проблемы)

найти источник на наши 200 каналов что бы прилетало и вылетало "автоматом"
не возможно не теоретически не практически


если кому то кажется что на сайте "ВСЕ ТВ" есть все что нужно, то он очень сильно заблуждается, прям очень сильно сильно

это я еще не распылялся на всякие "местные" тв конторки у которых вообще в голове дым, а жопе ветер, на сайте програмки нет вовсе , или она там весит лет пять не меняясь
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 19.07.2015, 15:29
Цитировать
sky star написал:

если кому то кажется что на сайте "ВСЕ ТВ" есть все что нужно, то он очень сильно заблуждается, прям очень сильно сильно

это я еще не распылялся на всякие "местные" тв конторки у которых вообще в голове дым, а жопе ветер, на сайте програмки нет вовсе , или она там весит лет пять не меняясь

Яростно  плюсую ! :D
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: samwit от 20.07.2015, 07:37
Цитировать
1076 написал:
Можно  было  бы  идеальный  EPG  под  себя  настроить.

Если идеально, то по-любому надо брать с разных источников. Никогда не мог понять почему у всех программы разные. У кого тупо названия, у кого более подробно даже с номерами серий и сезонов. Так что приходиться выбирать с разных источников. А автоматика тут полностью не сработает, надо контролировать программу хотя бы раз в неделю. Плюс все зависит от сервера EPG. Так как с кодировкой могут возникнуть проблемы и сервер её тупо не воспримет и придется руками сменить кодировку и снова подсунуть ему.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 20.07.2015, 08:34
Цитировать
samwit написал:

Если идеально, то по-любому надо брать с разных источников.  

Из  одного  и  не  получалось  ни  разу.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: apog от 20.07.2015, 21:35
И настройки там есть для двух наших источников (http://www.webgrabplus.com/epg-channels#stc_2D)
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 20.07.2015, 23:45
Цитировать
apog написал:
И настройки там есть для двух наших источников (http://www.webgrabplus.com/epg-channels#stc_2D)

Маийлру , к  сожалению  перестал  недавно  рабтать,  поменялся  дизайн  сайта.

Вот  тут  нужно  упрашивать  автора  (http://www.webgrabplus.com/forums/siteini-requests) сделать  ини  файл.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: samwit от 21.07.2015, 07:52
Цитировать
1076 написал:
Вот  тут  нужно  упрашивать  автора  (http://www.webgrabplus.com/forums/siteini-requests) сделать  ини  файл.

У него уже спросили Вот  тут  (http://www.webgrabplus.com/content/mailru-ini-request) в самом низу.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 21.07.2015, 09:14
Цитировать
samwit написал:
Цитировать
1076 написал:
Вот  тут  нужно  упрашивать  автора  (http://www.webgrabplus.com/forums/siteini-requests) сделать  ини  файл.

У него уже спросили Вот  тут  (http://www.webgrabplus.com/content/mailru-ini-request) в самом низу.

Это  про сарую  версию ,Mail.ru  поменялся  месяц -  два назад.
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: samwit от 21.07.2015, 12:11
Цитировать
1076 написал:
Это  про сарую  версию ,Mail.ru  поменялся  месяц -  два назад.

Дата написания поста то свежая "Sat, 2015-07-11 21:42"
Название: RE: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 21.07.2015, 13:21
Цитировать
samwit написал:
Цитировать
1076 написал:
Это  про сарую  версию ,Mail.ru  поменялся  месяц -  два назад.

Дата написания поста то свежая "Sat, 2015-07-11 21:42"

В  общем  надо  регаться  там  и  просить  поправить.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 29.03.2016, 20:27
Вопрос.
Как часто требуется запускать сию софтину?  WebGrab+Plus (http://www.webgrabplus.com/)
Запускаю планировщиком каждые 2 часа в режиме smart
(как я понимаю должно тянуть только новое или обновленное)

Думаю может пореже сделать???

Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 29.03.2016, 20:40
Запускаю планировщиком каждые 2 часа в режиме smart
Сайты раз  в  неделю обновляются .
А  у  вас  с  какими  сайтами  заработало ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 29.03.2016, 22:10
Пока только с этим работает. (http://www.vsetv.com/) Другие еще не пробовал
Наверное можно смастерить site.ini на любой другой ресурс.
Вроде как и соответствующая утилита на оффсайте есть (http://www.webgrabplus.com/download/utility/siteininide-v012)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 30.03.2016, 00:02
На яндекс бы  как  то  натравить.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Sumgait от 30.03.2016, 10:26
Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 30.03.2016, 12:13
На яндекс бы  как  то  натравить.

Буду посвободнее попробую, может и сделаем.
Тоже думаю с нескольких источников бы нужно брать.
А то поменяют чего и кирдык.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 30.03.2016, 17:06
Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
Плюсую коллега))) Тоже юзаю сей бесплатный программный продукт)))
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 31.03.2016, 10:53
Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
На  Яндексе  обновляет  список  каналов ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Sumgait от 31.03.2016, 11:57
Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
На  Яндексе  обновляет  список  каналов ?

Без проблем.

(http://rtktv.ru/0/kit.jpg)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 31.03.2016, 12:10
Только папку "Providers" обновите.
Коллега, а можете поделиться опытом обновления данной папки? Яндекс там есть как провайдер, но каналы там не все по моему, точнее не совсем соответствую реальности...типа Перца и прочего с ним...
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Lock от 31.03.2016, 12:36
Только папку "Providers" обновите.
Коллега, а можете поделиться опытом обновления данной папки? Яндекс там есть как провайдер, но каналы там не все по моему, точнее не совсем соответствую реальности...типа Перца и прочего с ним...
Там есть кнопка создать канал,открываете яндекс программу правой кнопкой мышки щелкаете на нужном канале/исследовать элемент, ищете id канала например матч тв /25/channels/1593 ,25 это зависит от региона, так вот 1593 это иесть ID и прописываете в КИТ при создании канала
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 04.09.2016, 11:25
Webgrabplus (http://www.webgrabplus.com/) смотрю обновилась, а так же site ini (http://http://www.webgrabplus.com/epg-channels#stc_3D) файлы для сайтов свеженькие, люди добрые выложили.
 f_emo_29
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 04.09.2016, 14:51
Рабочий конфиг кто-  то  запилил ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 05.09.2016, 08:55
Да вроде работает, Конфиг (https://cloud.mail.ru/public/Jzx2/tNVZ3SqCR) и Xml файл.  (https://cloud.mail.ru/public/DFzu/NETq2FqLd) Epg пока еще не подсовывал.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Yarik от 05.09.2016, 22:11
Ну и тему то назвали....Правильн ее будет не граббинг ибо это "спутниковая рыбалка", и означает перехват чужого интернет трафика со спутника - это как хобби и таким частенько страдаю бывает и я - причём уже солидное время,это как ранее были радиохулиганы - а тут спутниковые хулиганы.
Правильнее тему назвать - Парсинг телепрограммы с сайтов каналов - ибо это всё программы парсеры которые из исходного кода страницы выбирают и парсят то что им нужно.
Вот пример - http://www.php.su/forum/topic.php?forum=79&topic=4693 парсят недельную программу mail.ru
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 14.10.2016, 08:54
Чем вас "КИТ Интернет телепрограмма" не устраивает? Жуёт все сайты. Только папку "Providers" обновите.
Что то у меня данное ПО перестало вообще работать...папку провайдеров обновил и все каналы пропали, до этого перестала загружать телепрограмму по выбранным каналам...
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Sumgait от 14.10.2016, 10:43
Должна стоять версия 1.29. Если вы обновились до 1.31, так и будет.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Mike от 14.10.2016, 11:53
1.31 работает
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 14.10.2016, 12:03
Коллеги, можно ссылочку на рабочую версию данного ПО сюда или в ЛС, плз)))
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Mike от 14.10.2016, 12:25
Коллеги, можно ссылочку на рабочую версию данного ПО сюда или в ЛС, плз)))

с их сайта и обновить папки каналов для этой версии оттуда же
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 14.10.2016, 14:19
А у них есть сайт? Меня что ж получается, гугл чтоль забанил? Ибо не нашел почему то...

З.Ы. ой я и лошарик)))) нашел форум автора....щас закачаю)))
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 22.02.2017, 15:46
WebGrab+Plus  (http://www.webgrabplus.com/download) Обновилась до V2.0
Интересно чего там есть нового и нужного.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 30.03.2017, 14:23
Коллеги, кто юзает КИТ Телепрограмма для ЕПГ - перестал нормально парситься яндекс, заменил на майл - телегид обновился нормально, но теперь в ОпенЕПГ что то описания маловато стало, одно слово "режиссеры" и все...в самой КИТ описание полноценное...что то голову сломал уже, так переставлять не хочется все....
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: texnik55 от 30.03.2017, 15:32
Коллеги, кто юзает КИТ Телепрограмма для ЕПГ - перестал нормально парситься яндекс, заменил на майл - телегид обновился нормально, но теперь в ОпенЕПГ что то описания маловато стало, одно слово "режиссеры" и все...в самой КИТ описание полноценное...что то голову сломал уже, так переставлять не хочется все....

надо заменить файл "\Kit программа tv\Providers\tv.yandex.ru\schedule.ini" на http://sendfile.su/1321850 и яндекс заработает
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 30.03.2017, 16:04
Спасибо уже нашел и сделал, щас имена авторов и актеров под два раза в описании имеются, изучаю теперь этот момент((((
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 16.04.2017, 10:12
Спасибо уже нашел и сделал, щас имена авторов и актеров под два раза в описании имеются, изучаю теперь этот момент((((
Кто  то  нашел  как  пофиксить ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 17.04.2017, 11:24
Из соседней ветки - ТЫК! (https://drive.google.com/drive/folders/0B8SZIfY-CKBFQ3BDcmFxcXc3dG8)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 17.04.2017, 12:15
Из соседней ветки - ТЫК! (https://drive.google.com/drive/folders/0B8SZIfY-CKBFQ3BDcmFxcXc3dG8)
На  1.33  перешел
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: ua4frr от 17.04.2017, 15:02
1.34 - с костылем для Яндекса пока полет нормальный)))
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 23.07.2017, 12:06
С  майлру  кто  то  тягает ?
С  конца мая  -  error.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 23.07.2017, 19:55
сейчас тяну отсюда (http://vsetv.ru/)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Mike от 23.07.2017, 19:59
сейчас тяну отсюда (http://vsetv.ru/)
отсюда тоже криво как то, по строчке на день....

а с майлру - егогг
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 23.07.2017, 20:02
Не замечал косяков, софтинка (http://www.webgrabplus.com/) вроде все тянет.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 23.07.2017, 22:59
Не замечал косяков, софтинка (http://www.webgrabplus.com/) вроде все тянет.
есть конфиги  под яндекс  и  майлру ?
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 24.07.2017, 08:34
Яндекс маловато инфы отдавал и загрузка долго шла.
Майл не пробовал. Попробуйте поиграться с настройками (ресурсами) (http://www.webgrabplus.com/epg-channels#stc_40).
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: 1076 от 24.07.2017, 17:02
Яндекс маловато инфы отдавал и загрузка долго шла.
Майл не пробовал. Попробуйте поиграться с настройками (ресурсами) (http://www.webgrabplus.com/epg-channels#stc_40).
Благодарю!
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 07.08.2018, 16:36
Запилили новый ini файл под яндекс для WebGrab+Plus
Тыц (http://www.webgrabplus.com/sites/default/files/user/anseatle/tv.yandex.ru_.ini)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: zaorant от 20.10.2020, 09:16
Помогите кто сталкивался. Не работает WebGrab+Plus под Windows 2003 serv/. Этот же дистриб нормально работает на WIN7, WIN10.
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 07.03.2021, 22:25
 WebGrab+Plus (http://webgrabplus.com/) Обновилась до 3 версии (Ver V3.1.6 на данный момент)
Из холявы тут осталось только 30 каналов и три источника
За немного денег, возможности пожирнее.
Пожертвование в размере 5 евро в год позволит запустить 250 каналов, 15 различных site.ini, постобработку MDB и REX, страницы полного индекса и деталей, а также 2 идентификатора оборудования. Обратите внимание, что это настройка по умолчанию, и пожертвование большего количества продлит членство дарителя (т.е. 10 евро = 2 года). Пользовательскую лицензию можно запросить, связавшись с авторами, пожертвование может измениться в зависимости от количества каналов, идентификатора оборудования и т.д. Также обратите внимание, что очень немногие зашифрованные site.ini (для нескольких стран и более 1000 каналов или сложные) также требуют дополнительного пожертвования.....
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: WiseBird от 09.03.2021, 07:57
ЯндексТВ граб. Оставлю это здесь, для любителей халявы, пока работает. (https://github.com/gSpotx2f/tv_grab_ru_yatv)
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Sumgait от 09.03.2021, 09:23
Меня устраивает "КИТ Интернет телепрограмма".
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: petrovlexa от 09.03.2021, 13:18
Что за КИТ ?, где живет ???
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: bibigon от 09.03.2021, 14:44
КИТ Интернет телепрограмма

вот тут же

https://pctuner.club/forum/q/9228
Название: Re: Граббинг телепрограммы с сайтов каналов
Отправлено: Cyber от 10.03.2021, 18:15
Что за КИТ ?, где живет ???
https://4pda.ru/forum/index.php?showtopic=1017755 (https://4pda.ru/forum/index.php?showtopic=1017755)