Ru-Board.club
← Вернуться в раздел «Программы»

» ProxyGrab - выдиратель проксиков с сайтов

Автор: spleenJack
Дата сообщения: 12.07.2005 16:25
ProxyGrab - выдиратель проксиков с сайтов
=================================




Иногда приходится сталкиваться с проблемой поиска большого количества проксиков для каких либо целей (например, для брутфорса). В инете есть сайты, предоставляющие такие списки - есть платные, есть бесплатные.

С платными проблем нет - заплатил деньгу, скачал список, нормально сформированный, и не паришься.

Но с бесплатными проблем много. Обычно эти списки размещены с разбиением на 10, 20 и т.д. проксиков на разных страницах, или со всякими изъебами, типа разных разделителей хоста и порта и т.д., с разными ненужными данными, которые только мешают. Да и вообще: проксики эти постоянно дохнут, следовательно списки часто обновляются. Приходится с определенной периодичностью составлять список заново. Сидеть и делать эту вручную - западло.

Для автоматизирования этого процесса как раз и предназначена эта прога
Она сама скачает и просканит указанные странички в инете (или файлы на харде) и составит удобоваримый список, который потом можно запихать в любую нормальную прогу по чекингу проксей (например, ProxyChecker).

Список изменений (v0.4): [more]
+ Добавлена возможность изменять, удалять имена урлов/файлов
+ Добавлены попап-менюхи для списков урлов/файлов/проксиков
+ Добавлены хоткеи, и теперь они корректно обрабатываются
+ Добавлена проверка на валидность урла и существование файла
+ !Теперь проксики ищутся и по IP, и по доменам
+ !Поиск хоста и порта проксика в соседних колонках html-таблицы
+ Добавлен небольшой список сайтов, где можно найти проксики
* Опять же небольшие изменения в интерфейсе Включена поддержка XP-тем
* Корректное выключение/включение кнопок в зависимости от того, что делает юзер
* В списке урлов последние записываются без начального 'http://'
- Исправлен (в лоб) недочет с обрезанием правого края окна при разрешении 800x600
- При добавлении пустого урла, он не удалялся
- Если начать вводить урл, и нажать Esc - прога закрывалась
- Исправлено множество мелких ошибок
[/more]

Что будет дальше:[more]
+ Запуск отдельных источников на сканирование (т.е. не обязательно сканировать весь список)
+ Свои параметры сканирования для каждого источника
+ Поддержка скриптов (например, на Delphi) или плагинов для сканирования отдельных источников

Думается, что вариант насчет отдельных сканеров для каждого сайта лучше: и работать быстрее будет, и качество выдаваемого результата лучше. Потому что поиск проксиков в таблицах (и не только) оказался далеко не тривиальной задачей. Например, такие списки как на proxz.com (там рядом с IP стоят белые циферки для мусора, специально, чтоп автоматика не схватила ) или на checker.freeproxy.ru ( еще лучше, тут все скриптик делает, т.е. проксик там совсем не в открытом виде, можете посмотреть код)
Вообщем, нужно ваше мнение насчет этого [/more]

Скачать // 323 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.4.rar

---
Жду ваших пожеланий, предложений, критики... =))
Автор: St_MPA3b
Дата сообщения: 28.07.2005 01:32
чел, встрой туда чеккер проксей)
и коннектор к ним =))
Автор: spleenJack
Дата сообщения: 28.07.2005 08:47
St_MPA3b
Не думаю, что буду это делать. Даже если буду, то не скоро
А чем тебя Proxy Checker не устраивает? Я его все равно не переплюну.
Автор: spleenJack
Дата сообщения: 21.09.2005 15:07
Обновились

ProxyGrab v0.5

Изменений не особо много, но они полезные
+ !Определение страны проксика (только по IP) (по базе Maxmind GeoIP)
+ Грамотная сортировка в списке проксей
+ Возможность фильтрации по портам и странам

Наконец-то сделал сайт - заходим и качаем - _http://proxygrab.msk.ru/

Юзаем, тестим и пишем свои комментарии
Автор: ven1999
Дата сообщения: 23.09.2005 22:20

Цитата:
_http://proxygrab.msk.ru/

Не резолвится твой сайтик.

А прога очень полезная, сильно автоматизировала процесс в котором использовались far, download master и самопальная программа для выдирания IP из файла. Теперь все гораздо проще и приятнее... =)
Автор: SIMSR
Дата сообщения: 25.09.2005 20:34
spleenJack
Слушай, а можно сделать так
1. Что-бы мыщкой можно было менять размер окна программы.Раздвигать и наооборот.
2. Что-бы сохранять например только выделенные сервера, а не весь список.
Спасибо за возможность выбора только по определенным портам.
Автор: spleenJack
Дата сообщения: 26.09.2005 17:49
ven1999

Цитата:
Не резолвится твой сайтик.

Было такое, была проблемка небольшая
SIMSR

Цитата:
1. Что-бы мыщкой можно было менять размер окна программы.Раздвигать и наооборот.

Будет. Я пытался сделать Но тока, перебесившись весь и так и не поняв, как это можно нормально и безглючно организовать, на эту идею забил пока. Но надеюсь, к следующей версии сделаю, потому как на самом деле неудобно, когда размеры менять нельзя

Цитата:
2. Что-бы сохранять например только выделенные сервера, а не весь список.

Будет Тоже надеюсь, что к следующей версии сделаю.

Всем спасибо за отзывы!! %)
Автор: SIMSR
Дата сообщения: 27.09.2005 09:17
spleenJack
Слушай, а еще можно добавить , что-бы при закрытии программы список URL не пропадал,
и в списках прокси добавить опцию - удалять дубликаты.
Автор: spleenJack
Дата сообщения: 27.09.2005 09:42
SIMSR

Цитата:
а еще можно добавить , что-бы при закрытии программы список URL не пропадал

Угу, сделаю.

Цитата:
и в списках прокси добавить опцию - удалять дубликаты

Они по-умолчанию удаляются.
Автор: Nbb
Дата сообщения: 07.02.2006 11:50
еще бы нужно добавить замер скорости проксика
хотя бы примерно
и сделать сортировку (разбивку) по скорости. "показать все быстрее 40кб"
когда они показываются - сохранить только их
Автор: spleenJack
Дата сообщения: 03.05.2006 16:45
Вышла новая версия программы для собирания списков прокси-серверов - ProxyGrab v0.6.

Скриншот (50 кб)
Изменения: [more]

Цитата:
Общие:
* Код программы полностью переписан (убраны старые баги, добавлены новые )
* Исправлено неправильное включение/выключение кнопок при сканировнии
* Сохранения результатов сканирования всех сканов (т.е. если был запущен скан для одного источника, а потом для другого, то результат скана первого источника не сбрасывается)
Список источников:
+ Список источников теперь древовидный (т.е. источники можно обьединять в группы, подгруппы и т.д.)
+ Добавление группы урлов с изменяющимися цифрами в адресе
+ Сканирование для выделенных и отмеченных галочкой источников
+ Хранение списка источников в xml
+ Импорт/экспорт списка источников
Список прокси:
* Фильтр по IP, домену, порту и стране
+ Возможность применения фильтра после сканирования
* Отфильтрованные прокси не удаляются, а просто не показываются в списке
* Список прокси можно сохранять и во время сканирования
+ Сохранение только выделенных прокси
+ Копирование списка выделенных прокси в буфер обмена
Вид окна:
+ Изменяемый размер окна и элементов внутри него
* Лог-окно теперь отдельно от основного (видимое/невидимое - опционально)
Настройки:
* Максимальное количество потоков теперь и для файлов и для урлов
* Возможность установки приоритета потоков
* Настройка таймаутов соединения/чтения странички и количества повторов при таймауте
[/more]

Скачать ProxyGrab v0.6
Скачать базу для определения страны прокси

PS:

Цитата:
И хочу сообщить о том, что я замораживаю проект Пропал и интерес, и, самое главное, время. Его просто нет, к сожалению.
Приношу свои извинения всем, кто пользуется прогой, и тем, кто хотел и ждал, что она станет лучше-быстрее-сильнее.
Сайт работать будет, я надеюсь. Так что свои вопросы можно задавать на форуме
Автор: KUSA
Дата сообщения: 04.05.2006 09:09
spleenJack

Цитата:
Пропал и интерес, и, самое главное, время. Его просто нет, к сожалению.

Все равно, за программу тебе большое спасибо!!!
Автор: Alex8898798
Дата сообщения: 29.06.2006 22:27
да, супер спасибо за прогу!
Автор: Smirnovi
Дата сообщения: 29.09.2007 15:29
а есть ли еще какие списки для выдирания проксей с сайтов?
Автор: astromir
Дата сообщения: 21.10.2007 01:00
Офигетельно сделал! Респект тебе!
Автор: maleonid
Дата сообщения: 04.11.2007 17:51
полностью поддерживаю выше сказаное +1
Автор: zett
Дата сообщения: 07.09.2008 15:44
Если есть у кого зеркало, слейте в0.6 прогу плиз
Автор: mxa
Дата сообщения: 02.02.2009 23:35
http://depositfiles.com/ru/files/1163715
Гугля рулит
Автор: ADMiNZ
Дата сообщения: 06.02.2009 09:33
ProxyGrab v0.6
_http://rapidshare.com/files/194571099/ProxyGrab_v0.6.rar

Добавлено:
P.S. Жалко что проект умер...
Автор: Andry_Kur
Дата сообщения: 14.03.2010 00:38
нашел тут
http://proxyinfo.moy.su/proxysoft/proxygrab_v0.6.zip
Автор: vv07
Дата сообщения: 12.06.2011 06:54
народ,помогите с
Цитата:
Скачать базу для определения страны прокси
Автор: spleenJack
Дата сообщения: 12.07.2005 16:25
ProxyGrab - выдиратель проксиков с сайтов
=================================




Иногда приходится сталкиваться с проблемой поиска большого количества проксиков для каких либо целей (например, для брутфорса). В инете есть сайты, предоставляющие такие списки - есть платные, есть бесплатные.

С платными проблем нет - заплатил деньгу, скачал список, нормально сформированный, и не паришься.

Но с бесплатными проблем много. Обычно эти списки размещены с разбиением на 10, 20 и т.д. проксиков на разных страницах, или со всякими изъебами, типа разных разделителей хоста и порта и т.д., с разными ненужными данными, которые только мешают. Да и вообще: проксики эти постоянно дохнут, следовательно списки часто обновляются. Приходится с определенной периодичностью составлять список заново. Сидеть и делать эту вручную - западло.

Для автоматизирования этого процесса как раз и предназначена эта прога
Она сама скачает и просканит указанные странички в инете (или файлы на харде) и составит удобоваримый список, который потом можно запихать в любую нормальную прогу по чекингу проксей (например, ProxyChecker).

Список изменений (v0.4): [more]
+ Добавлена возможность изменять, удалять имена урлов/файлов
+ Добавлены попап-менюхи для списков урлов/файлов/проксиков
+ Добавлены хоткеи, и теперь они корректно обрабатываются
+ Добавлена проверка на валидность урла и существование файла
+ !Теперь проксики ищутся и по IP, и по доменам
+ !Поиск хоста и порта проксика в соседних колонках html-таблицы
+ Добавлен небольшой список сайтов, где можно найти проксики
* Опять же небольшие изменения в интерфейсе Включена поддержка XP-тем
* Корректное выключение/включение кнопок в зависимости от того, что делает юзер
* В списке урлов последние записываются без начального 'http://'
- Исправлен (в лоб) недочет с обрезанием правого края окна при разрешении 800x600
- При добавлении пустого урла, он не удалялся
- Если начать вводить урл, и нажать Esc - прога закрывалась
- Исправлено множество мелких ошибок
[/more]

Что будет дальше:[more]
+ Запуск отдельных источников на сканирование (т.е. не обязательно сканировать весь список)
+ Свои параметры сканирования для каждого источника
+ Поддержка скриптов (например, на Delphi) или плагинов для сканирования отдельных источников

Думается, что вариант насчет отдельных сканеров для каждого сайта лучше: и работать быстрее будет, и качество выдаваемого результата лучше. Потому что поиск проксиков в таблицах (и не только) оказался далеко не тривиальной задачей. Например, такие списки как на proxz.com (там рядом с IP стоят белые циферки для мусора, специально, чтоп автоматика не схватила ) или на checker.freeproxy.ru ( еще лучше, тут все скриптик делает, т.е. проксик там совсем не в открытом виде, можете посмотреть код)
Вообщем, нужно ваше мнение насчет этого [/more]

Скачать // 323 КБ // ::: _http://proxygrab.nm.ru/ProxyGrab.v0.4.rar

---
Жду ваших пожеланий, предложений, критики... =))
Автор: St_MPA3b
Дата сообщения: 28.07.2005 01:32
чел, встрой туда чеккер проксей)
и коннектор к ним =))
Автор: spleenJack
Дата сообщения: 28.07.2005 08:47
St_MPA3b
Не думаю, что буду это делать. Даже если буду, то не скоро
А чем тебя Proxy Checker не устраивает? Я его все равно не переплюну.
Автор: spleenJack
Дата сообщения: 21.09.2005 15:07
Обновились

ProxyGrab v0.5

Изменений не особо много, но они полезные
+ !Определение страны проксика (только по IP) (по базе Maxmind GeoIP)
+ Грамотная сортировка в списке проксей
+ Возможность фильтрации по портам и странам

Наконец-то сделал сайт - заходим и качаем - _http://proxygrab.msk.ru/

Юзаем, тестим и пишем свои комментарии
Автор: ven1999
Дата сообщения: 23.09.2005 22:20

Цитата:
_http://proxygrab.msk.ru/

Не резолвится твой сайтик.

А прога очень полезная, сильно автоматизировала процесс в котором использовались far, download master и самопальная программа для выдирания IP из файла. Теперь все гораздо проще и приятнее... =)
Автор: SIMSR
Дата сообщения: 25.09.2005 20:34
spleenJack
Слушай, а можно сделать так
1. Что-бы мыщкой можно было менять размер окна программы.Раздвигать и наооборот.
2. Что-бы сохранять например только выделенные сервера, а не весь список.
Спасибо за возможность выбора только по определенным портам.
Автор: spleenJack
Дата сообщения: 26.09.2005 17:49
ven1999

Цитата:
Не резолвится твой сайтик.

Было такое, была проблемка небольшая
SIMSR

Цитата:
1. Что-бы мыщкой можно было менять размер окна программы.Раздвигать и наооборот.

Будет. Я пытался сделать Но тока, перебесившись весь и так и не поняв, как это можно нормально и безглючно организовать, на эту идею забил пока. Но надеюсь, к следующей версии сделаю, потому как на самом деле неудобно, когда размеры менять нельзя

Цитата:
2. Что-бы сохранять например только выделенные сервера, а не весь список.

Будет Тоже надеюсь, что к следующей версии сделаю.

Всем спасибо за отзывы!! %)
Автор: SIMSR
Дата сообщения: 27.09.2005 09:17
spleenJack
Слушай, а еще можно добавить , что-бы при закрытии программы список URL не пропадал,
и в списках прокси добавить опцию - удалять дубликаты.
Автор: spleenJack
Дата сообщения: 27.09.2005 09:42
SIMSR

Цитата:
а еще можно добавить , что-бы при закрытии программы список URL не пропадал

Угу, сделаю.

Цитата:
и в списках прокси добавить опцию - удалять дубликаты

Они по-умолчанию удаляются.

Страницы: 12

Предыдущая тема: XPepius


Форум Ru-Board.club — поднят 15-09-2016 числа. Цель - сохранить наследие старого Ru-Board, истории становления российского интернета. Сделано для людей.