Ru-Board.club
← Вернуться в раздел «Web-программирование»

» Как при парсинге пропускать совпадения?

Автор: erroraccount
Дата сообщения: 27.07.2016 22:04
Я написал парсинг. Но времени выполнения скрипта не хватает, чтобы спарсить весь объем.

Предположил, что можно выкачивать частями. Т.е. скачал 500 строчек в базу. В пхп отметил, что id начинается с 501 и снова запускаем. Но в этом случае надо чтобы скрипт пропускал те 500 совпадений, которые уже скачаны иначе с 501 айдишника в базу полетят снова первые данные, который скрипт найдет на доноре.

Есть ли возможность, пользуясь библиотекой simle-html-dom и найдя определенный тег, пропускать его до тех пор, пока не отсчитает нужное количество, после чего парсит теги?
Автор: Mavrikii
Дата сообщения: 27.07.2016 23:23
erroraccount

Цитата:
найдя определенный тег, пропускать его до тех пор, пока не отсчитает нужное количество, после чего парсит теги?

парсите им все (это не должно занимать много времени), потом пропускаете столько, сколько нужно
Автор: seonjus
Дата сообщения: 18.08.2016 19:22
А я собираю и ручками в екселе удаляю)))

Страницы: 1

Предыдущая тема: Нужна помощь с адаптивной вёрсткой сайта


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.