» Ant Movie Catalog

SeSar
исправил, воспользуйся авто обновлением


Цитата:

ver 2.75.33 (16.10.2010)
* изменен поиск списка актёров - на сайте изменен формат отображения

Tutankhamon86
Теперь все ок! Спасибо!!!

Прошу сказать, есть ли здесь функция добавления скринов автоматом и редактирования их не по одному как в All My Movies а несколько выделить и удалить?

Tutankhamon86
Спасибо за поддержку скрипта Кинопоиск. Можно добавить возможность выбирать какой рейтинг скачивать с кинопоиска - родной или IMDB?

king_stiven

Скриншоты добавлять можно только в Movie Cat 4.0.6
Автоматически скриншоты добавлять нельзя, только вручную. При добавление можно сразу выбрать несколько. Удалять можно как какой то конкретный, так и все.

AlexandrSFX

Хорошо добавлю, только на выходных. На работе конь не валялся...

P.S. На сайте кинопоиска рейтинг IMDB обновляется, если я не ошибаюсь, раз в сутки.

Рабочий скрипт для Kinopoisk ver 2.75.34 (31.10.2010)

Цитата:

+ добавлена возможность загрузки рейтинга фильма с сайтов IMDB.com и rottentomatoes.com (управляется через переменную RatingBlock)
* рейтинг с англоязычных сайтов IMDB.com и rottentomatoes.com охватывает только фильмы, прошедшие в американском кинопрокате.

Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1
Так же можно воспользоваться функцией авто обновление

Подключаемый файл StringUtilsTutankhamon ver 0.3 (26.05.2010)
Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.0 или выше

Скрипт авто обновления для Kinopoisk ver 0.1 (26.05.2010)
Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1

Добавлено:
Просьба добавить в шапку и не создавать зеркал для скрипта. Ведётся статистика.
Если найдёте баги или надумаете идею - делитесь

Tutankhamon86 Погонял немного, вроде все работает. Спасибо.

Tutankhamon86
шапку поправил.
а можешь сделать скрипт для http:\\imhonet.ru? особенно рейтинг прогнозный интересует

Кинопоиск интерфейс поменял, у меня поиск по названию перестал работать

Рабочий скрипт для Kinopoisk ver 2.75.35 (11.12.2010)

Цитата:

* изменена обработка списка фильмов - на сайте изменен формат отображения
+ добавлено отображение в списке фильмов: страна, жанр, время, режиссёр, в главных ролях
* видоизменён вывод списка фильмов (Переведённое название / Оригинальное название Время мин (Год) | Страна, реж. Режиссёр (Жанр) | в ролях: В главных ролях)
* исправлена ошибка формирования сложного запроса
* упрощена переменная AdvancedSearch. Теперь имеет два значения: простой и сложный поиск. В случае последнего, если дополнительные критерии не будут заполнены (год, режиссёр, в главных ролях), то поиск будет эквивалентен простому
+ добавлен выбор списка фильмов: загружать обычный список (до 11 актуальных) либо весь (в алфавитном порядке) (управляется через переменную FullList)

Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1
Так же можно воспользоваться функцией авто обновление

Подключаемый файл StringUtilsTutankhamon ver 0.3 (26.05.2010)
Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.0 или выше

Скрипт авто обновления для Kinopoisk ver 0.1 (26.05.2010)
Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1

Добавлено:
Просьба добавить в шапку и не создавать зеркал для скрипта. Ведётся статистика.
Если найдёте баги или надумаете идею - делитесь

Добавлено:
q111111

Как я понял, что бы получить прогнозируемый рейтинг, нужно быть зарегистрированным на сайте imhonet.ru
А что бы сайт понял что именно ты зашёл на него, тебе нужно передать определённые куки.
Так вот AMC этого не умеет

Tutankhamon86

Цитата:

Как я понял, что бы получить прогнозируемый рейтинг, нужно быть зарегистрированным на сайте imhonet.ru
А что бы сайт понял что именно ты зашёл на него, тебе нужно передать определённые куки.
Так вот AMC этого не умеет

жаль
а через (блин, как это правильно выразиться ) строку браузера можно как-то задать что это ты, а никто иной. они на почту присылают ссылку, по которой можно сразу зайти в свой аккаунт. там ссылка типа http://films.imhonet.ru/element/111111/opinion/11111/?auth_hash=хххххххххххххххххххххххххххххххх
так вот это, что тут обозначено "х", я бы внёс своё в скрипт и получал бы личные рекомендации

Добавлено:
кстати, даже если рекомендуемые оценки не получится получать, то ведь просто как отдельный сайт с описанием фильмов, оценками, постерами, можно использовать.

Tutankhamon86

Цитата:

Рабочий скрипт для Kinopoisk ver 2.75.35 (11.12.2010)

Еще раз ОГРОМНОЕ СПАСИБО!!! от всех кто пользуется сабжем.
Без твоего скрипта как без рук.

Скрипт обновлён, воспользуйтесь авто обновлением


Цитата:

ver 2.75.36 (30.10.2010)
* изменена обработка ссылки в списке фильмов - на сайте изменен формат отображения
* исправлена ошибка при простом поиске. Будет загружаться обычный список (до 11 актуальных)
* изменен поиск страны и года фильма - на сайте изменен формат отображения

кто нибудь знает какой общий индекс в базе Кинопоиска? (т.е. число всех описаний по всем странам)

Tutankhamon86

Цитата:

ver 2.75.36 (30.10.2010)

У меня все равно год и страна не загружаются

Скрипт обновлён, воспользуйтесь авто обновлением


Цитата:

ver 2.75.37 (04.01.2011)
* исправлена ошибка формирования ссылки в списке фильмов (касательно 2 - 11 позиций)
* изменен поиск страны и года фильма - на сайте изменен формат отображения
* изменен алгоритм парсинга года, страны производителя, режиссёра, продюсеров, жанра и времени фильма (скрипт не привязан к какому-нибудь конкретному дизайну)

Цитата:

Скрипт обновлён, воспользуйтесь авто обновлением

"Ошибка скрипта в "UPDATESCRIPTSML": at line 6"

Ранее обновлялось без проблем.

AlesVG

Ругается, потому что не находит файл StringUtilsTutankhamon.pas, либо он повреждён, в папке \Scripts\ программы.
Скачай с шапки

Добавлено:
У паковал в архив, для удобства...

Рабочий скрипт для Kinopoisk ver 2.75.37 (04.01.2011)

Цитата:

* исправлена ошибка формирования ссылки в списке фильмов (касательно 2 - 11 позиций)
* изменен поиск страны и года фильма - на сайте изменен формат отображения
* изменен алгоритм парсинга года, страны производителя, режиссёра, продюсеров, жанра и времени фильма (скрипт не привязан к какому-нибудь конкретному дизайну)

Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1
Так же можно воспользоваться функцией авто обновление

Подключаемый файл StringUtilsTutankhamon ver 0.3 (26.05.2010)
Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.0 или выше

Скрипт авто обновления для Kinopoisk ver 0.1 (26.05.2010)
Скачать для Movie Cat 4.0.6 и Ant Movie Catalog 3.5.1

Добавлено:
Просьба добавить в шапку и не создавать зеркал для скрипта. Ведётся статистика.
Если найдёте баги или надумаете идею - делитесь

Frantishek


Цитата:

кто нибудь знает какой общий индекс в базе Кинопоиска? (т.е. число всех описаний по всем странам)

Мудрёно ты спросил...
Если интересует max ID фильма, то он равен 574726 (Kokuriko zaka kara)

Заметки на полях:
Если скачивать страницы без задержек, то пресловутая Система защиты от роботов (СЗоР) Кинопоиска, начинает блокировать IP на 143 странице. Если же сделать задержку в 2 секунды, то система не банит
Что позволяет скрипту импортировать информацию о 10-35 фильмах (зависит от настроек)

Кластер кинопоиска не справляется с нагрузкой посетителей, особенно заметно по вечерам. По этому, спецы кинопоиска, в пики нагрузки, включают ограничения доступа к страницам с описанием фильмов и персоналий (доступ только для зарегистрированных)

Tutankhamon86

Цитата:

Если интересует max ID фильма, то он равен 574726

Но описаний гораздо меньше. Шестизначный индекс ими введен относительно недавно. Раньше был сквозной (и сохранился до сих пор для первых записей в базе (что странно и говорит о любительском подходе)).
В целом можно оценить число записей по фильмам от 100 до 200 тысяч. Не больше. Из них реальных описаний (заполненных, а не с одним названием) еще меньше.
В целом кинопоиск пока не вырос из любительского уровня, хотя он и претендует на роль профессионального в рунете.
На самом деле, если бы пользователи озадачились идеей создания базы по фильмам, то уже могли бы давно это сделать. И не нужно было бы клянчить информацию с сайтов (если один человек способен составлять базы до 100 тыс фильмов, то уж сообща это еще более реально). Есть только два момента, которые нужно решить - система уникальной нумерации фильмов (на данный момент наиболее приемлемый вариант - номера от IMDB) и система удаления дублирующихся записей.

Foss

IMDB как и Кинопоиск используют простейший индекс - бинарный
Не знаю сколько во всей базе кинопоиска фильмов, но в первых 100 000 ID (1 - 100000) - действующий оказалось 91 449

Вполне логично, что список фильмов берут с внешних источников (к примеру русских). Ну а со временем заполняют подробным описанием

В кинопоиске есть повторяющие записи, судя по популярному топику на их форуме
Да и IMDB с их пресловутым 1,7 млн. фильмов ...

Tutankhamon86
Не знаю как вы там определяли наличие реальных записей на скриптовом сайте. Для примера только что взял номера 50000-50010 (то есть десять номеров подряд). Из них в наличии оказалось только 5. Остальные - 404.
Но и те которые оказались представляют из себя душераздирающее зрелище - у половины нет постеров (даже маленьких), описаний нет почти у всех, представленная информация мягко говоря скудна. Очевидно, что значительная (а может и большая) часть записей существуют для иллюзии объема.
Я уже не обращаюсь на этот сайт, если мне нужно узнать о фильме старше 20 лет - как правило бесполезно. Легче найти на менее имиджевых сайтах информацию по таким фильмам, где материала хоть и меньше, но он качественно представлен. На фоне IMDB кинопоиск выглядит очень жалко.

Foss


Цитата:

Не знаю как вы там определяли наличие реальных записей на скриптовом сайте.

Id List 1 - 100 000


Цитата:

На фоне IMDB кинопоиск выглядит очень жалко.

Ну сравнил
Пополнить базу IMDB может любой, а кинопоиска - только редакция

Tutankhamon86
Foss
Хм, спасибо за инфу, ожидал от них гораздо большего в этом плане, если честно. Вообще какое то средневековье все еще процветает в деле сбора данных и их отработке с пользой делу. Казалось бы .. всего ничего основных категорий инфы: кино, музыка, софт, книги.. я имею ввиду той, что поддается атрибутивному описанию. В объемах это совсем не сумасшедшие цифры, даже если брать графику (если мы хотим наладить обмен/пополнение БД), Интернету уже столько лет.. но до сих пор никто нормально не приспособился получать от всего этого мирового накопленного знания эффективную пользу (без бубнов, на автомате). Сидим в ожидании очередного "Самого лучшего Г.." или синих человечков, когда столько замечательных фильмов было снято в старые времена в разных странах и т.д., и находим их чаще волею случая. А все ведь предельно просто: земля принадлежит крестьянам, контент - принадлежит народу!) им же он и создается/поддерживается, ими же делается и следующий необходимый шаг - рекомендательный, но однозначно не так как это сейчас в Имхонете и иже с ним, ибо опять же - неработоспособно, нет критической массы, монетизация впереди телеги, а воз и ныне там. Все. я выступил
P.S. Жалею что прекратилась разработка такой штуки как TV-Guru, хороший был концепт именно в потребительском плане.

Добавлено:
Tutankhamon86
А они эти дыры потом как то забивают, или следуют дальше? какова вообще логика заполнения.. Можно ли получить полный отчет, скажем:
-текущий рабочий диапазон индекса
-из него - действующие индексы (без 404)
-из них - индексы с нормальным описанием (скажем, проверяется наличием каких-либо ключевых полей)
как быстро такое можно состряпать? и реально ли потом вытянуть данные по выборке (только полные описания) исходя из самого списка индексов импортированного в БД?

Frantishek

Логика заполнения стандартная:
При добавлении нового фильма используется max ID + 1
При удалении на место использованного ID другой фильм не записывается

Сформировать таблицу со всем списком фильмов и нужной вам информацией в базе кинопоиска можно примерно за 20 дней (если учитывать двух секундную задержку между загрузками страниц)

Ну а сделать выборку можно, если ручки правильно растут

Tutankhamon86
может запустим такой скриптик, что для этого требуется? что будет нужно - помогу. процедура все равно разовая, потом можно только обновлять. а если это речь о полной загрузке всей базы, то вообще замечательно, пусть себе лежит в открытом доступе.

Frantishek

Некоторое время назад, я уже запускал скрипт для проверки валидности ID, на рабочем сервере. После чего рабочий IP был успешно заблокирован (спустя пару суток бесперебойной работы скрипта). После продолжительной переписки с технарями Кинопоиска, бан был снят.

Так что скрипт я выложу, вернее два, а собирать базу придётся вам самим. Рекомендую использовать динамический IP.

Скрипт ver 0.1 - сохраняет ссылку и название фильма (удобен для дальнейшего импортированния в базу AMC и использования рабочего скрипта для Kinopoisk -а)
Скрипт ver 0.2 - сохраняет ссылку и всю информацию о фильме (ну почти всю )

PHP-скрипт для автоматического сбора базы фильмов с сайта Kinopoisk.ru ver 0.1 (04.01.2011)

Цитата:

! Проверка на подлинность ID-фильма и загрузка страницы с названием фильма (страница загружается только до строчки с заголовком; менее 1 килобайта)
* Сохранение данных в CSV-файл (ссылка, название фильма)

Kinopoisk_Id_List_PHP_v0.1

PHP-скрипт для автоматического сбора базы фильмов с сайта Kinopoisk.ru ver 0.2 (15.01.2011)

Цитата:

! Проверка на подлинность ID-фильма и загрузка страницы с описанием фильма (страница загружается полностью)
* Сохранение данных в CSV-файл (ссылка, переведённое название, оригинальное название, год, страна, режиссёр, продюсер, время, жанр, актёры, описание)

Kinopoisk_Id_List_PHP_v0.2

блин, не пойму куда логи кидает, все перерыл

Добавлено:
и как повлияет на скорость если добавить другую доп.информацию:
сценарий
композитор
бюджет
сборы
и т.д.
самому это можно сделать как то по шаблону?

Frantishek


Цитата:

блин, не пойму куда логи кидает, все перерыл

Выходной файл указан в переменной

Код: $log_file="id_list.txt";

Цитата:

файл будет лежать в директории со скриптом

нифига не лежит, консоль работает, статистика идет, сеть мигает что связь есть, данных нет

Добавлено:
http://i008.radikal.ru/1101/cc/9c70e453377b.jpg