Net::HTTP - Скачивает указанную страницу, поддерживает многостраничный парсинг. Браузер парсер

простой парсинг сложных сайтов / Хабр

Грубо говоря, проблема в том, что в браузере работает javascript, а на сервере его нет. Нужно либо писать интерпретатор js на одном из серверных языков (jParser и jTokenizer), либо ставить на сервер браузер, посылать в него запросы и вытаскивать итоговое dom-дерево.

В древности в таких случаях мы строили свой велосипед: на отдельной машине запускали браузер, в нем js, который постоянно стучался на сервер и получал от него задания (джобы), сам сайт грузился в iframe, а скрипт извне отправлял dom-дерево ифрейма обратно на сервер.

Сейчас появились более продвинутые средства — xulrunner (crowbar) и watir. Первый — безголовый firefox. У crowbar есть даже ff-плагин для визуального выделения нужных данных, который генерит специальный парсер-js-код, однако там не поддерживаются cookies, а допиливать неохота. Watir позиционируется разработчиками как средство отладки, но мы будем его использовать по прямому назначению и в качестве примера вытащим какие-нибудь данные с сайта travelocity.com.

Watir — это ruby gem, через который идет взаимодействие с браузером. Есть версии для разных платформ — watir, firewatir и safariwatir. Несмотря на подробный мануал по установке, у меня возникли проблемы как в винде, так и в убунте. В windows (ie6) watir не работает на ruby 1.9.1. Пришлось поставить версию 1.8.6, тогда заработало. В убунте — для того, чтобы работал FireWatir (или обычный watir через firefox), в браузер нужно поставить плагин jssh. Но версия, предлагаемая для FireWatir на странице установки не заработала с моим FireFox 3.6 на Ubuntu 10.04.

Чтобы проверить, работает у вас jssh или нет, нужно запустить firefox -jssh, а потом послать что-нибудь на 9997 порт (telnet localhost 9997). Если порт не открывается, либо происходит аварийное завершение работы firefox (как у меня), значит нужно собрать свой jssh, подробная инструкция о сборке находится здесь.

Начнем писать парсер отелей с travelocity.com. Для примера выберем цены комнат во всех отелях по направлению New York, NY, USA на сегодня. Будем работать с FireWatir на Ubuntu 10.4.

Запускаем браузер и грузим страницу с формой:

require "rubygems"<br>require "firewatir"<br>ff = FireWatir::Firefox.new<br>ff.goto("http://www.travelocity.com/Hotels")<br> Заполняем форму нужными значениями и делаем submit:

ff.text_field(:id,"HO_to").val("New York, NY, USA")<br>ff.text_field(:id,"HO_fromdate").val(Time.now.strftime("%m/%d/%Y"))<br>ff.text_field(:id,"HO_todate").val(Time.tomorrow.strftime("%m/%d/%Y"))<br>ff.form(:name,"formHO").submit<br> Ждем окончания загрузки:

ff.wait_until{ff.div(:id,"resultsList").div(:class,"module").exists?}<br> wait_until — очень важная инструкция. При сабмите формы на сайте делается несколько редиректов, а после — ajax запрос. Нужно дождаться финальной загрузки страницы, и только ПОСЛЕ этого работать с dom-деревом. Как узнать, что страница загрузилась? Нужно посмотреть, какие элементы появляются на странице после выполнения ajax. В нашем случае после запроса к /pub/gwt/hotel/esf/hotelresultlist.gwt-rpc в resultsPage появляется несколько элементов <div>. Ждем, пока они не появятся. Замечу, что некоторые команды, например text_field, submit, уже включают в себя wait_until, поэтому перед ними данная команда не нужна.

Теперь делаем переход по страницам:

while true do<br> ff.wait_until{ff.div(:id,"resultsList").div(:class,"module").exists?}<br> ...<br> next_link = ff.div(:id,"resultcontrol-top").link(:text,"Next")<br> if (next_link.exists?) then next_link.click else break end<br>end<br> Там, где в коде стоит многоточие, находится непосредственное вытаскивание данных. Возникает искушение применить watir и в этом случае, к примеру, пробежать по всем дивам в resultsList такой командой:

ff.div(:id,"resultsList").divs.each.do |div|<br> if (div.class_name != "module") then next end<br> ...<br>end<br> И из каждого дива вытащить название отеля и цену:

m = div.h3(:class,"property-name").html.match(/propertyId=(\d+)[^<>]*>([^<>]*)<\/a[^<>]*>/)<br>data["id"] = m[1] unless m.nil?<br>data["name"] = m[2] unless m.nil?<br>data["price"] = div.h4(:class,"price").text<br> Но так делать не следует. Каждая команда watir-а к элементам dom-дерева — это лишний запрос к браузеру. У меня работает около секунды. Гораздо эффективнее за ту же секунду за раз выдернуть весь dom и мгновенно распарсить обычными регулярками:

ff.div(:id,"resultsList").html.split(/<div[^<>]*class\s*=\s*["']?module["']?[^<>]*>/).each do |str|<br>m = str.match(/<a[^<>]*propertyId=(\d+)[^<>]*>([\s\S]*?)<\/a[^<>]*>/)<br> data["id"] = m[1] unless m.nil?<br> data["name"] = m[2] unless m.nil?<br> m = str.match(/<h4[^<>]*class\s*=\s*["']?price["']?[^<>]*>([\s\S]*?)<\/h4[^<>]*>/)<br> data["price"] = m[1] unless m.nil?<br>end<br> Советую применять watir только там, где это необходимо. Заполнение и сабмит форм, ожидание, пока браузер не выполнит js код, и затем — получение финального html-кода. Да, доступ к значениям элементов через watir кажется надежнее, чем парсинг потока кода без dom-структуры. Чтобы вытащить внутренность некоторого дива, внутри которого могут быть другие дивы, нужно написать сложночитаемое регулярное выражение. Но все равно это гораздо быстрее. Если таких дивов много, самое простое решение — несложной рекурсивной функцией разбить весь код по уровням вложенности тегов. Я писал такую штуку в одном своем классе на php.

habrahabr.ru

Net::HTTP - Скачивает указанную страницу, поддерживает многостраничный парсинг. | A-Parser

• Собираемые данные(top)

  • Код ответа сервера
  • Описание ответа сервера
  • Заголовки ответа сервера
  • Контент
  • Прокси использованные при данном запросе
  • Массив со всеми страницами (используется при работе опции Use Pages)

  Возможности(top)

  • Опция Check content - проверяет, если регулярное выражение не сработало, то страница будет загружена заново с другим прокси
  
  • Опция Use Pages - позволяет перебрать указанное количество страниц с определенным шагом. $pagenum - переменная, содержащая текущий номер страницы при переборе. Ее нужно использовать для подстановки в нужное место.
  
  • Опция Check next page - RegEx который определяет существует ли следующая страница или нет, и если существует - переходит на нее, в рамках указанного лимита (0 - без ограничений)
  
  • Опция Page as new query - передает переход на следующую страницу как новый запрос, тем самым позволяя убрать ограничение на количество страниц для перехода
  

  Варианты использования(top)

  Запросы(top)

  В качестве запросов необходимо указывать ссылки на страницы:

  Нажмите, чтобы раскрыть...

  Возможные настройки(top)

  Общие настройки для всех парсеровПараметрЗначение по умолчаниюОписание

  Good status	All	Выбор какой ответ с сервера будет считается успешным. Если при парсинге будет другой ответ от сервера, то запрос будет повторен с другим прокси
  Good code RegEx	-	Возможность указать регулярное выражения для проверки кода ответа
  Method	GET	Метод запроса
  POST body	-	Контент для передачи на сервер при использовании метода POST. Поддерживает переменные $query - url запроса, $query.orig - исходный запрос и $pagenum - номер страницы при использовании опции Use Pages
  Cookies	-	Возможность указать cookies для запроса
  User agent	Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)	Заголовок User-Agent при запросе страниц
  Additional headers	-	Возможность указать произвольные заголовки запроса, с поддержкой возможностей шаблонизатора и использованием переменных из конструктора запросов
  Read only headers	☐	Читать только заголовки. Позволяет в некоторых случаях экономить трафик, если нет необходимости обрабатывать контент.
  Detect charset on content	☐	Возможность распознавать кодировку на основе содержимого страницы
  Emulate browser headers	☐	Возможность эмулировать заголовки браузера
  Max redirects count	7	Максимальное кол-во редиректов по которым будет переходить парсер
  Max cookies count	16	Максимальное число Cookie для сохранения
  Bypass CloudFlare	☑	Автоматический обход проверки CloudFlare на браузер

a-parser.com

Универсальный парсер выдачи поисковых систем яндекс, гугл, рамблер. Программа учета рабочего времени. CyberMake.ru

• Базы для XRumer AllSubmitter AddNews PostNews
• Базы DLE, WordPress, Joomla, uCoz, phpBB, Drupal, vBulletin, IPB и другие
• Поиск базы Gold DLE (Data Life Engine)
• SEO Оптимизация сайта c WebParser Plus SEO
• Рассылка комментариев по DLE сайтам
• Поиск SQL-Инъекций двумя методами

• Наша программа WebParser, предназначена для парсинга поисковых систем: Яндекс(Yandex), Гугл(Google), Яху(Yahoo), Нигма(Nigma), Метабот(Metabot)
• Вы можете парсить без прокси, алгоритм программы в автоматическом режиме может распознавать каптчи поисковых систем Яндекс, Гугл (через сервисы распознавания каптч)
• Вы с легкостью сможете напарсить поисковые выдачи яндекса и google вместе взятых, тем самым собрать большие базы для своих нужд
• С нашим парсером поисковых систем можно собрать базы DLE (DataLife Engine) - сайтов для постинга новостей
• Встроенный анализ CMS сайтов поможет с легкостью отсеять все лишние CMS и оставить только нужную вам базу сайтов
• Парсер яндекса, парсер гугла(google), парсер dle сайтов, ucoz, phpbb и др. - все это есть в нашем замечательном программном продукте WebParser

Скачать WebParser

Обзор WebParser

• Телефонов
• Почтовых адресов
• Сбор баз E-Mail
• Поиск контактов
• Поиск информации о компаниях и организациях

• Универсальный комплекс для маркетинга и сбора данных
• Поиск потенциальных клиентов
• Поиск данных для продвижения, рекламы, продажи
• Создание телефонных справочников, E-Mail справочников, справочников адресов
• Встроенный полнофункциональный WebParser Professional для профессионального парсинга поисковых систем
• Все это есть в нашем замечательном программном продукте BlackSpider

Скачать BlackSpider

Обзор BlackSpider

Обзор Расчет платы MPR-Personal

  Обзор WorkTimer

  Обзор DataKeeper

WebParser (Универсальный парсер поисковых систем)MPR (Реестр Объектов Негативного Воздействия)BlackSpider (Программа сбора данных с интегрированным парсером)WorkTimer (Учет рабочего времени)DataKeeper (Безопасное хранение данных)WebAuditor (Работа с сайтами)

С уважением,Компания CyberMake.

cybermake.ru

AftParser - бесплатный парсер - Личный блог Гарри

Плагин парсера, написанный мной на самой заре моего «пути». Вполне достойная разработка, хотя в данный момент уровень говнокода в ней просто зашкаливает, что не мешает ей исправно трудиться на благо сетевого пролетариата. Используя этот парсер вы можете сделать свою собственную читалку rss лент или наполнить свой сайт кучей наворованных статей.Внимание: Как настроить AftParser можно прочитать тут.

Нововведения:

1. Убрана возможность вставлять картинки из гугла в посты. К сожалению API гугла, позволяющее искать картинки более недоступно.
2. Добавлена обработка ошибок
3. Добавлена поддержка tidy
4. Улучшен парсер rss лент

Скачать:

Желающие могут скачать плагин, перейдя во ссылке:

(если вы обновляете парсер, то посмотрите инструкцию по установке)

Зачем я написал этот парсер?

Делал изначально для себя, с элементарной целью — заработать на Sape. В 2013 году она еще была актуальным способом поднять пару кредитов, особенно для студента. Сейчас сапа уже не актуальна, вы, к превеликому прискорбию, не сможете там даже деньги, потраченные на домен окупить. Яндекс очень быстро банит молодые сайты, если на них начинают продавать ссылки. Даже не пытайтесь, короче. Ну хотя, все познается в сравнении, вдруг вам повезет =)

Почему выложил за бесплатно?

Потому что парсер стал неактуален. Году эдак в 2008 я был бы сказочно рад такому плагину. Еще бы! К сожалению в 2008 я только-только купил свой первый компьютер.(в конце 2007го) Разумеется тогда я понятия не имел ни о каком php и только-только начинал постигать этот неизведанный мир интернетов. Но… кто знает, вдруг вам он поможет начать свое дело в сети. Маловероятно конечно, но вдруг!

Можно ли заработать на копипасте? (мини-кейс)

Разумеется. Посмотрите вокруг. Вбейте в гугл и найдите кучу варезников — сайтов по тематике «скачать бесплатно», например. Копипаст — один из столпов интернета, тут 70% всей информации — не уникально. Но тут есть весьма существенная проблема. Дело в том, что вы не сможете получить прибыль с сайта на копипасте СРАЗУ. Только через год или полтора, причем это я описываю вам удачный вариант развития событий. Если вам вот прям срочно сегодня или через пол года нужны деньги — мой плагин вам никак не поможет, только навредит.

Ну и еще. Как говорит Кейсуха: «копипаст должен быть вкусным». Собирайте данные с разных источников. Хорошо оформляйте. Представьте, что вы готовите не сайт, а кулинарный шедевр. И будет вам счастье. Но не сразу, а через год-полтора.

Еще лучше будет, если вы спарсите, например 200 статей по какой-нибудь тематике и уникализируете их своими руками. В день можно переписывать по 20 статей, особенно если вы студент и у вас полно времени до сессии. За 10 дней вы получите вполне годный сайт с хорошим контентом, который начнет приносить трафик уже через полгода. Главное не лениться.

Если уж совсем в лом — просто поменяйте названия скопированных статей на близкие по тематике. Причем новое название должно быть чуть длиннее старого. Если вы скопировали плагином статью, например, с названием «здоровое питание», поменяйте его на «Здоровье и питание» или «Польза здорового питания». Тогда ваша статья будет собирать трафик по этим ключам и таким образом где-то даже сможет вылезти в топ по поиску. Если же оставлять старые заголовки то ваш сайт всегда будет ниже в поиске, чем сайт, с которого вы взяли статью.

Мифы о копипасте

Многие сеошники распространяют такой фэйк:

Если в скопированной статье вставлять ссылку на источник — не получишь бана.

Это голимый пи*дежь. Не ведитесь на это, нечего буржуям трафик наращивать, пусть идут в самую глубокую «марианскую впадину». Никаких ссылок на источник делать не надо!

Так-же скажу вам, что за копипаст не дают бана (АГС). Могут исключить из основной выдачи поисковика, это да, но бан вы не получите.

Трафик

В среднем с 3000 страниц я получил пять хомяков через пол года и около 50ти через год(а потом получил ручные санкции от гугла из-за своей криворукости). При этом никаких дополнительных работ по уникализации я не делал.

Мало, согласен. Поэтому уникализируйте статьи и заголовки, как я писал выше. Тогда трафик вполне может перевалить и за 800 хомяков в сутки. Но тут уж как повезет, знаете ли.

Похожее

aftamat4ik.ru

Парсеры | A-Parser - парсер для профессионалов SEO