Первое знакомство с информационно поисковыми системами. История создания и развитие современных ПС. Браузеры и поисковые системы понятие и классификация

Поисковые системы

Поиско́вая систе́ма — программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в интернете.

Все поисковые системы объединяет то, что они расположены на специально-выделенных мощных серверах и привязаны к эффективным каналам связи. Поисковые системы называют еще информационно-поисковыми системами (ИПС). Количество одновременно обслуживаемых посетителей наиболее популярных систем достигает многих тысяч. Самые известные обслуживают в сутки миллионы клиентов. В случаях, когда поисковая система имеет в своей основе каталог, она называется каталогом. В ее основе лежит работа модераторов. В основе же ИПС с полнотекстовым поиском лежит автоматический сбор информации. Он осуществляется специальными программами. Эти программы периодически исследуют содержимое всех ресурсов Интернета. Для этого они перемещаются, или как говорят, ползают, по разным ресурсам. Соответственно такие программы называются роботы. Есть и другие названия: поскольку WWW – это аббревиатура выражения Всемирная паутина, то такую программу естественно назвать спайдером по англ. – паук. В последнее время используются другие названия: автоматические индексы или директории. Все эти программы исследуют и «скачивают» информацию с разных URL-адресов. Программы указанного типа посещают каждый ресурс через определенное время. Ни одна поисковая система не в состоянии проиндексировать весь Интернет. Поэтому БД, в которых собраны адреса проиндексированных ресурсов, у разных поисковых систем разные. Тем не менее, многие из них стремятся, по возможности, охватывать в своей работе все пространство мировой Сети.

Для поиска информации с помощью поисковой системы пользователь формулирует поисковый запрос. На основании запроса пользователя поисковая система генерируетстраницу результатов поиска. Такая поисковая выдача может сочетать различные типы файлов, например: веб-страницы, изображения, видеофайлы. Некоторые поисковые системы также извлекают данные из баз данных икаталогов ресурсов в Интернете.

По методам поиска и обслуживания разделяют четыре типа поисковых систем:

1.системы использующие поисковых роботов.

2.системы управляемые человеком

3.гибридные системы

4.мета-системы.

В архитектуру поисковой системы включены: поисковый робот сканирующий сайты сети Интернет, индексатор обеспечивающий быстрый поиск, и поисковик — графический интерфейс для работы пользователя.

Цель поисковой системы заключается в том, чтобы находить документы, содержащие либо ключевые слова, либо слова как-либо связанные с ключевыми словами. Поисковая система тем лучше, чем больше документов релевантных запросу пользователя она будет возвращать.

Примеры поисковых систем

Google- одна из самых полных и популярных зарубежных ИПС. Отличительной особенностью ИПС Google является технология определения степени релевантности документа путем анализа ссылок других источников на данный ресурс. Чем больше ссылок на какую-либо страницу имеется на других страницах, тем выше ее рейтинг в ИПС Google. Google использует алгоритм расчёта авторитетности PageRank. PageRank является одним из вспомогательных факторов приранжированиисайтов в результатах поиска. PageRank не единственный, но очень важный способ определенияположения сайтав результатах поиска Google. Google использует показатель PageRank найденных по запросу страниц, чтобы определить порядок выдачи этих страниц посетителю в результатах поиска.В 2010 году компания запустила голосовой поиск в России. Чтобы осуществить поиск, необходимо нажать в телефоне кнопку рядом со строкой поиска и произнести свой запрос, телефон отправит ваш голос на сервер, и браузер выдаст строку с распознанным вашим запросом и результатами поиска по нему.

Яndex – самая популярная в настоящее время отечественная поисковая система. Начала работу в 1997 г. Она поддерживает собственный каталог Интернет-ресурсов. Также является лучшей поисковой системой для выявления иллюстраций. Англоязычный вариант снабжен справочником ресурсов Интернет. Обладает развернутой системой формирования запроса. В частности, допускается ввод поискового предписания на естественном языке - в этом случае все необходимые расширения производятся автоматически.

Помимо веб-страниц в формате HTML, Яндекс индексирует документы в форматах PDF (Adobe Acrobat), Rich Text Format (RTF), двоичных форматах Word (.doc), Excel (.xls), PowerPoint(.ppt), RSS(блоги и форумы).

Поисковая система компании Mail.ruначала работать в 2007 году. Объем индексного файла весной 2009 г. составлял более 1.5 миллиарда страниц, расположенных на русскоязычных серверах. Помимо разыскания текстов, системой осуществляется поиск иллюстраций и видеофрагментов, размещенных на специализированных "самонаполняемых" российских серверах: Фото@Mail.Ru, Flamber.Ru, 35Photo.ru, PhotoForum.ru, Видео@Mail.Ru, RuTube, Loadup, Rambler Vision и им подобных. Gogo.ru позволяет ограничивать область поиска сайтами коммерческой направленности, информационными сайтами, а также форумами и блогами. Форма "Расширенного поиска" также дает возможность ограничить разыскания определенными типами файлов (PDF, DOC, XLS, PPT), местом положения искомых слов в документе или определенным доменом. В ноябре 2013 в Google Play появилась новая версия поискового приложения от компании Mail.Ru, позволяющего переходить с главного экрана в любые социальные сети и содержащего быстрый доступ к поиску по картинам, видео и новостям. Android-приложение превратилось в мини-браузер, заточенный под эффективный поиск нужной информации. Утилита также научилась распознавать поисковые запросы, заданные не текстом, а голосом. Разработчики также отмечают, что создали специальный виджет, который можно поместить на главный экран смартфона или планшета на базе системы Google Android. Подразумевается, что это позволит еще сильнее сократить время, затрачиваемое на поиск.

AltaVista– одна из старейших поисковых систем занимает одно из первых мест по объему документов – более 350 миллионов. AltaVista позволяет осуществлять простой и расширенный поиск. «Help» позволяет даже неподготовленным пользователям правильно составлять простые и сложные запросы.

Rambler – одна из первых российских ИПС, открыта в 1996 году. В конце 2002 года была произведена коренная модернизация, после которой Rambler вновь вошел в группу лидеров сетевого поиска. В настоящее время объем индекса составляет порядка 150 миллионов документов. Для составления сложных запросов рекомендуется использовать режим «Детальный запрос», который предоставляет широкие возможности для составления поискового предписания с помощью пунктов меню.

АПОРТ. На сегодняшний день объем ее базы составляет более 20 миллионов документов. Система обладает широким спектром поисковых возможностей. АПОРТ обладает функцией встроенного переводчика, это дает пользователю возможность формулировать запросы, как на русском, так и на английском языках. Кроме того, АПОРТ имеет специальные режимы для поиска иллюстраций и аудио файлов.

Поисковые механизмы последнего поколения индексируют все слова на web-странице или в статье из конференции, в то время как ранее область индексирования ограничивалась как правило названием, заголовками, первыми несколькими строками и адресом документа. Это существенно ограничивало возможность выявления материалов по узкой тематике, поскольку результаты поиска не всегда отражали реально существующие данные. Устранив этот недостаток, современные поисковые системы стали намного более надежными, чем их предшественники.

Следующая важнейшая черта - совершенствование внутреннего поискового механизма, выражающееся в увеличении числа операторов и других элементов составления запросов. Несколько лет назад применение находили только два, в лучшем случае, три классических булевых оператора: AND (и), OR (или) и NOT (не). Теперь появились NEAR (рядом, около) в Alta Vista и FOLLOWED BY (следует за) в OpenText - в высшей степени полезные операторы расстояния, которые дают возможность в максимальной степени конкретизировать запрос. Многие системы позволяют усекать окончания терминов, ограничивать поиск по дате создания документа, искать ключевые слова только в обозначенных элементах web-страниц (названии, заголовках, электронном адресе и т.д.), а также вести разыскание на точное словосочетание. Новейшие разработки также позволяют выявлять файлы определенного вида (например графические или аудио) и обладают чувствительностью к строчным и заглавным буквам. Общепринятой становится возможность искать данные на любых языках. Все это дает возможность составлять поисковое предписание с большой степенью точности, что конечно же повышает релевантность получаемых результатов.

На данный момент самые популярные поисковики Google и Яндекс, сравним их:

1. Количество проиндексированных страниц. У Google 8 миллиардов, а у Яндекса всего 2 миллиарда. То есть, в четыре раза меньше. Победа за Google.

2. Скорость индексации страниц. Google индексирует новые страницы в течение суток, тогда как Яндексу на это может потребоваться несколько дней. Опять побеждает Google.

3. Релевантность выдачи. Под релевантностью понимается соответствие результатов, отображенных на странице поисковика, вашему запросу. Сразу скажу, победителя тут сложно определить. Google показал хорошие результаты в зарубежном сегменте интернета, зато в Рунете,  Яндекс всегда был немного впереди.

4. Дополнительные интернет сервисы. Тут преимущество однозначно за Яндексом. У него есть десятки разнообразных сервисов, которые удобно сгруппированы по категориям, тогда как у Google их поменьше, плюс есть интеграция с социальной сетью Google+, которая многим не нравится.

studfiles.net

Интернет, браузеры и поисковые системы

Существует множество определений понятия «Интернет». Но чаще всего Интернет (англ. Internet) определяют как всемирную систему объединённых компьютеров и компьютерных сетей, построенную на использовании протокола TCP/IP и маршрутизации пакетов данных.

Интернет образует глобальное информационное пространство, служит физической основой для множества других систем (протоколов) передачи данных. Но чаще всего, хотя и не всегда корректно, под Интернетом понимают доступную в сети информация, а не саму ее физическую сущность.

Слово «Интернет» достаточно часто заменяется словосочетаниями «Всемирная сеть» и «Глобальная сеть», или на компьютерном сленге - «Инет».

По оценке специалистов к концу 2010 года число пользователей, регулярно использующих Интернет, составило около двух миллиардов человек (около четверти населения Земли). Вместе с подключенными к нему компьютерами, Интернет служит основой для развития «информационного общества».

Датой рождения территориальной компьютерной сети считается 29 октября 1969 г., когда впервые была осуществлена передача данных на расстояние в несколько сот километров между Калифорнийским университетом Лос-Анджелеса (UCLA) и в Стэнфордским исследовательским институтом (SRI), являющимися одними из основных разработчиков компьютерной сети ARPANET (англ. Advanced Research Projects Agency Network), созданной по заказу Министерства оборона США.

К 1971 году была разработана первая программа для отправки электронной почты по сети. Эта программа сразу стала очень популярна. В 1973 году к сети были подключены через трансатлантический телефонный кабель первые иностранные организации из Великобритании и Норвегии, сеть стала международной (мировой, глобальной). В 1970-х годах сеть в основном использовалась для пересылки электронной почты, тогда же появились первые списки почтовой рассылки, новостные группы и доски объявлений. Однако в то время сеть ещё не могла легко взаимодействовать с другими сетями, построенными на других технических стандартах.

К концу 1970-х годов начали бурно развиваться протоколы передачи данных, которые были стандартизированы в 1982-83 гг. 1 января 1983 г. ARPANET перешла с протокола NCP на TCP/IP, который успешно применяется до сих пор для объединения (или, как ещё говорят, «наслоения») сетей. Именно в 1983 году термин «Интернет» закрепился за сетью ARPANET.

В 1984 году была разработана система доменных имён (англ. Domain Name System, DNS).

В 1984 году у сети ARPANET появился серьёзный соперник: Национальный научный фонд США (NSF) основал обширную межуниверситетскую сеть NSFNet (National Science Foundation Network), которая была составлена из более мелких сетей (включая известные тогда сети Usenet и Bitnet) и имела гораздо бо́льшую пропускную способность, чем ARPANET. К этой сети за год подключились около 10 тыс. компьютеров, звание «Интернет» начало плавно переходить к NSFNet. В 1990 году сеть ARPANET прекратила своё существование, полностью проиграв конкуренцию NSFNet. В том же году было зафиксировано первое подключение к Интернету по телефонной линии.

Сегодня Интернет состоит из многих тысяч корпоративных, научных, правительственных и домашних компьютерных сетей. Объединение сетей разной архитектуры и топологии стало возможно именно благодаря протоколу IP и принципу маршрутизации пакетов данных.

Часто, говоря об Интернете, имеют в виду именно Всемирную паутину, или же термин Интернет подменяется словосочетанием - Всемирная паутина. В действительности же Всемирная паутина (англ. World Wide Web (WWW)) - это распределенная система, предоставляющая доступ к связанным между информационным ресурсам, расположенным на миллионах различных серверов и компьютерах, подключенных к Интернету. Большинство информационных ресурсов всемирной паутины представлено в виде гипертекстовых файлов (документов). Гипертекстовые документы, размещаемые во всемирной паутине, называются web-страницами. Несколько web-страниц, объединенных общей темой, дизайном, а также связанных между собой ссылками и обычно находящихся на одном и том же web-сервере, называются web-сайтом.

Для определения местонахождения ресурсов в сети используются единообразные локаторы ресурсов URL (англ. Uniform Resource Locator). Такие URL-локаторы сочетают в себе технологию идентификации web-страниц, включающую в себя и систему доменных имён.

Для загрузки и просмотра содержимого web-сайтов и web-страниц используются специальные программы - браузеры.

Веб-обозреватель, браузер (от англ. Web browser) — программное обеспечение для просмотра веб-сайтов, то есть для запроса веб-страниц (преимущественно из Сети), их обработки, вывода и перехода от одной страницы к другой.

Браузеры постоянно развивались со времени зарождения Всемирной паутины и с её ростом становились всё более востребованными программами. Сегодня браузер — комплексное приложение для обработки и вывода разных составляющих веб-страницы и для предоставления интерфейса между веб-сайтом и его посетителем. Практически все популярные браузеры распространяются бесплатно или платно «в комплекте» с другими приложениями: Internet Explorer (совместно с Microsoft Windows), Mozilla Firefox (бесплатно, свободное ПО, совместимо с некоторыми дистрибутивами Linux, например Ubuntu), Safari (совместно с Mac OS X и бесплатно для Microsoft Windows), Opera (бесплатно начиная с версии 8.50), Google Chrome (бесплатно), Avant (бесплатно).

По данным экспертов компании Net Applications, на конец первого квартала 2011 г. браузеры Internet Explorer, Mozilla Firefox, Google Chrome, Safari и Opera используют соответственно 56%, 22%, 12%, 7% и 2% пользователей сети Интернет.

Для того чтобы получить доступ к какому-либо конкретному информационному ресурсу в сети Интернет, пользователь должен ввести в адресной строке браузера его уникальный URL. Но при этом пользователь получает доступ только к одному ресурсу.

Для того чтобы получить доступ к интересующим пользователям ресурсам на заданную тематику возможностей того или иного браузера недостаточно, и необходимо использовать специальные поисковые системы.

Поисковая система - программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс системы. Программной частью поисковой системы является поисковая машина (поисковый движок) - комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной каждой компании-разработчика поисковой системы. По данным компании Net Applications, на начало 2011 года использование поисковых систем в мире распределялось следующим образом: Google - 84,65 %; Yahoo! - 6,69 %; Baidu - 3,39 %; Bing - 3,29 %; Ask - 0,56 %; AOL - 0,42 %.

Русскоязычные поисковые системы в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих поисковых роботов русскоязычными сайтами. Предпочтения пользователей русскоязычных поисковые системы распределяются следующим образом: Яндекс - 48 %; Mail.ru - 6,0 %; Рамблер – чуть более 1 %.

Дата добавления: 2015-08-09; просмотров: 80 | Нарушение авторских прав

mybiblioteka.su

Поисковые системы: состав, функции, принципы работы.

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google», «Yahoo», «MSN». В русском Интернете это – «Яндекс», «Рамблер», «Апорт».

Опишем основные характеристики поисковых систем:

Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

Наглядность представления результатов является важным компонентом удобного поиска. По большинству запросов поисковая машина находит сотни, а то и тысячи документов. Вследствие нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат только нужную информацию. Это означает, что пользователю зачастую приходится производить свой собственный поиск внутри найденного списка. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.одробные пояснения по странице результатов поиска, например у «Яндекса» можно посмотреть по ссылке http://help.yandex.ru/search/?id=481937.

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные международные поисковые системы – Google, Yahoo и MSN, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

Ссылки извлекаются из тэгов a, area, base, frame, frameset, и др. Наряду со ссылками, многими роботами обрабатываются редиректы (перенаправления). Каждая скачанная страница сохраняется в следующем формате:

• URL страницы

• дата, когда страница была скачана

• http-заголовок ответа сервера

• тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

• Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде сниппета, то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).

• Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.

• В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).

• Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.

• Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

Ни одна поисковая система не охватывает все ресурсы Интернет.

Каждая поисковая система собирает сведения о ресурсах Интернет, применяя свои уникальные методы, и формирует собственную периодически обновляемую базу данных. Доступ к этой базе предоставляется пользователю.

Поисковые системы реализуют два способа поиска ресурса:

• Поиск по тематическим каталогам - информация представляется в виде иерархической структуры. На верхнем уровне - общие категории (“Интернет”, “Бизнес”, “Искусство”, “Образование” и т.д.), на следующем уровне категории делятся на разделы и т.д. Самый нижний уровень - ссылки на конкретные веб-страницы или другие информационные ресурсы.

• Поиск по ключевым словам (индексный поиск или детальный) - пользователь отправляет поисковой системе запрос, состоящий из ключевых слов. Система возвращает пользователю перечень найденных по запросу ресурсов.

Большинство поисковых систем сочетают оба способа поиска.

Поисковые системы могут быть локальными, глобальными, региональными и специализированными.

В русской части Интернет (Рунет) наиболее популярны сейчас поисковые системы общего назначения Rambler (www.rambler.ru), Яндекс (www.yandex.ru), Апорт (www.aport.ru), Гугл (www.google.ru).

Большинство поисковых систем реализовано в виде порталов.

Портал (от англ. portal - главный вход, ворота) -это веб-сайт, который интегрирует различные сервисы Интернет: средства поиска, почту, новости, словари и т.д.

Порталы могут быть специализированными (как, www.museum.ru) и общими (например, www.km.ru).

Поиск по ключевым словам

Набор ключевых слов, по которым ведется поиск, называют также критерием поиска или темой поиска.

Запрос может состоять как из одного слова, так и из сочетания слов, объединенных операторами - символами, по которым система определяет, какое действие ей нужно произвести. Например: запрос “Москва Питер” содержит оператор И (так воспринимается пробел), который указывает, что надо искать документы, в которых есть оба слова - и Москва, и Питер.

Для того, чтобы поиск был релевантным (от англ. relevant -уместный, относящийся к делу), следует учитывать несколько общих правил:

• Независимо от того, в какой форме употреблено слово в запросе, поиск учитывает все его словоформы по правилам русского языка. Например, по запросу “билет” будут найдены и слова “билетом”, “билету” и т.д.

• Заглавные буквы следует использовать только в именах собственных, чтобы не просматривать лишние ссылки. По запросу “кузнецов”, например, будут найдены документы, где говорится и о кузнецах, и о Кузнецовых.

• Желательно сужать круг поиска, используя несколько ключевых слов.

• Если нужного адреса нет среди первой двадцатки найденных адресов, следует изменить запрос.

• Если по запросу не найдено ни одной ссылки, прежде чем менять запрос, надо проверить орфографию.

Каждая поисковая система использует свой язык запросов. Для знакомства с ним, пользуйтесь встроенной справкой поисковой системы

Крупные сайты могут иметь встроенные системы поиска информации в пределах своих веб-страниц.

Запросы в подобных системах поиска, как правило, строятся по тем же правилам, что и в глобальных поисковых системах, однако знакомство со справкой и здесь не будет лишним.

Расширенный поиск

Поисковые системы могут предоставлять в распоряжение пользователя механизм, позволяющий формировать сложный запрос. Переход по ссылке Расширенный поиск дает возможность редактировать параметры поиска, указывать дополнительные параметры и выбирать наиболее удобную форму показа результатов поиска. Ниже описаны параметры, которые могут быть заданы при расширенном поиске в системах Япс1ех и Rambler.

Некоторые поисковые системы (например, Яндекс) позволяют вводить запросы на естественном языке. Вы пишите, что нужно найти (например: заказ билетов на поезд из Москвы в Питер). Система анализирует запрос и выдает результат. Если он Вас не устраивает, переходите на язык запросов.

studfiles.net

Презентация "Браузеры и поисковые системы"

Скачать эту презентацию

Скачать эту презентацию

ЧТО ТАКОЕ РЕЛЕВАНТНОСТЬ Часто используемый термин при работе с поисковыми машинами. Посмотрите на определение слову "Релевантность" глазами Google. Если мой знакомый спрашивает меня "Который час?", а я отвечаю "Я не голоден" или отвечаю: А зачем тебе?", то этот ответ не был бы релевантным. Если бы я ответил: "Сегодня пятница" - это был бы ответ хотя бы касающийся времени. Такой мой ответ: "Уже вечер" был бы более релевантным. Ответ: "Около семи часов вечера" был бы более релевантным, чем предыдущий, но все же не полностью релевантным. Вот если бы я ответил: "18 часов 57 минут 25 секунд" - это был бы ответ в максимальной степени точным, хотя мои часы все равно бы могли иметь погрешность. Но запрос не включал в себя "Сколько времени на твоих часах?" и не включал в себя поправку на погрешность моих часов. Таким образом последний ответ можно считать полностью релевантным.

Начиная с 1994 года самые главные задачи по развитию Всемирной паутины взял на себя Консорциум Всемирной паутины (World Wide Web Consortium, WЗС), который организовал и до сих пор возглавляет Ким Бернес-Ли. Консорциум разрабатывает и внедряет технологические стандарты для Интернета и Всемирной паутины. Миссия WЗС : «Полностью раскрыть потенциал Всемирной паутины, путем создания протоколов и принципов, гарантирующих долгосрочное развитие Сети». WЗС разрабатывает «Рекомендации», что бы достичь совместимость между программными продуктами и аппаратурой различных компаний, что делает Всемирную сеть более совершенной, универсальной и удобной. Все рекомендации, которые разрабатывает Консорциум Всемирной паутины открыты, то есть не защищены патентами и могут внедряться любым человеком без всяких финансовых отчислений консорциуму. А каким способом можно использовать глобальную сеть, чтобы простой смертный мог пользоваться ее глобальностью, не затрачивая усилий на специальную подготовку? В ответ был разработан специальный язык HTML, на котором создавались гипертекстовые документы

Связь между документами осуществляется при помощи гипертекстовых ссылок (или просто гиперссылок). Гиперссылка, ссылка, линк — - это элемент Web-документа(текст или иллюстрация), "привязанный" к другому фрагменту данного документа или к совершенно иному документу. При использовании гиперссылки (обычно для этого требуется навести на нее указатель мыши и один раз щелкнуть) происходит переход по гиперссылке — открытие Web-страницы, на которую указывает ссылка. Механизм гиперссылок позволяет организовать тематическое путешествие по World Wide Web без использования (и даже знания) адресов конкретных страниц. Обычно для того, чтобы проследовать по ссылке, достаточно "кликнуть" мышью по соответствующему активному участку. Гиперссылки - это один из самых существенных элементов любой гипертекстовой или гипермедийной системы, включая WWW. Именно легкость перехода от одного документа к другому посредством гиперссылок и является одной из причин, по которой World Wide Web завоевала всемирную популярность. Именно легкость перехода от одного документа к другому посредством гиперссылок и является одной из причин, по которой World Wide Web завоевала всемирную популярность.

Провайдер – (provider) интернет-провайдер продоставляет доступ в интернет хостинг-провайдер предоставляет сервер регистратор предоставляет доменное имя Подробнее… Browser (браузер) – специальная программа для выхода в Интернет и для отображение документа на конкретном компьютере. “Web browsers” – не что иное, как средства просмотра информации в сети. Web-страница содержит определенный набор стандартных элементов, являющихся обязательными компонентами каждого ресурса Интернета. Подробнее… Гипертекстовый документ – (веб-документ) может быть размещен на сервере любого континента, а Вы его спокойно просматриваете на домашнем компьютере, абсолютно не интересуясь расстоянием :) подробнее… Выбор кодировки – Кодировка представляет собой таблицу, где каждому символу - буквам алфавита, цифрам и специальным знакам - соответствует свой уникальный номер, код символа. Подробнее…

Социальная сеть – (social network) - социальная структура, состоящая из группы узлов, которыми являются социальные объекты (люди или органи-зации), и связей между ними. Подробнее… Блоги – это публичный дневник с комментариями, состоящий из записей в обратном хронологическом порядке. Слово произошло от английского weblog — «веб-журнал». Обычный дневник мало кому показывают. Блог открыт для чтения, более того, читатели могут оставлять к записям свои комментарии. Совокупность блогов называется блогосферой. Подробнее… Форум –место сетевого общения нескольких авторов, где записи объединены общей темой. Чат - (от англ. to chat - болтать) Чат - это общение в интернете, когда разговор ведется в реальном времени. Содержание чата существует только "здесь и сейчас" - чат выглядит как окно, в котором идет поток сообщений от всех участников чата. Подробнее…

Адрес является ещё одним понятием, часто встречающимся при использовании Интернета. Чтобы можно было однозначно обозначить любой компьютер в Интер-нете, применяется специальная система адресов, называемая IP-адресами. Каждый компьютер получает свой уникальный адрес. При пересылке информации протоколами TCP/IP используются присвоенные адреса. Адреса в Интернете мо-гут быть представлены как последовательностью цифр, так и именем, построен-ным по определенным правилам. Компьютеры при пересылке информации ис-пользуют цифровые адреса, а пользователи в работе с Интернетом используют, в основном, имена. Хотя нет центра управления Интернетом, но есть организации, занимающиеся проверкой и выдачей адресов. Так что вы не можете самостоя-тельно, ни с кем не посоветовавшись, присвоить себе любой адрес. URL – Uniformed Resource Locator(универсальный указатель адресов) указывает точные координаты документа в Интернете (пути) имя, используемое для доступа протокола http://fipi.ru/view/sections/92/docs/ URL-адрес состоит из трех частей: доменное имя сервера, на котором храниться ресурс полное имя файла на сервере

В Интернете используется так называемая доменная система имен. Она ставит в соответствие числовому IP- адресу компьютера уникальное доменное имя. Эта система имеет иерархическую структуру. Домены верхнего уровня бывают двух типов: географические и административные. Основной сервер компании Microsoft имеет имя WWW.microsoft.com, а сервер компании МИОО- iit.metodist.ru WWW COM RU metodist IIT Админист-ративные тип организации Географи-ческие страна .com коммерческая .ca Канада .edu образовательная .de Германия .gov правительственная .jp Япония .int международная .ru Россия .mil военная .uk Англия/Ирландия .net компьютерная сеть .us США .org некоммерческая .su CCCPбывший

Статистика использования Интернета в 2008 г.

БРАУЗЕР MICROSOFT INTERNET EXPLORER (IE)

БРАУЗЕР MOZILLA FIREFOX

БРАУЗЕР OPERA

БРАУЗЕР NETSCAPE NAVIGATOR

БРАУЗЕР AMAYA

БРАУЗЕР SAFARI

Глава 2. Поиск информации в сети В Интернете сосредоточено огромное количество Web-страниц и файлов. Для поиска информации используются специальные поисковые серверы (машины) - также поисковая система, поисковик, искалка - программно-аппаратный комплекс, предназначенный найти и изучить все страницы всех сайтов в Интернете (или какой-либо его части) и затем по запросу пользователя предоставлять ему адреса страниц, которые максимально соответствуют запрашиваемому. Любая поисковая машина представляет из себя специальный сайт. Поисковые машины просты в обращении и очень помогают в повседневности. Сегодняшний Интернет нельзя представить без поисковых машин. В действительности поисковая машина - это робот., т.е. ряд программ под управлением главной программы. В специальное окно для ввода запроса введём фразу «Как связать шапочку» . Поисковик выдаст огромное количество адресов страниц сайтов, в которых встречаются множества Рекомендаций (в том числе из специализированных журналов по вязанию) и описаний подобных операций

Согласно разным статистическим данным, наиболее распространённым браузером на сегодняшний день остаётся Internet Explorer (далее для краткости Эксплорер). В России его используют от 70 до 95 процентов серверов. Стремительно набирает популярность (особенно под Linux) Mozilla Firefox (на втором месте). На третьем месте по объективной популярности стоит Opera (далее Опера), последние версии которой — 6.x, 7.x и 8.x, ожидается 9, некоторые используют и 5.x, но не более старые, потому что этот браузер вплоть до 4-й версии был платным. Пренебрегать не стоит ни Оперой, ни Нетскейпом. Есть и другие браузеры: Lynx и подобные (текстовые браузеры, эмуляцию результата отображения веб-страниц, в которых можно посмотреть через Оперу), Amaya (персональный браузер организации w3c), Safari (браузер по умолчанию в современных операционных системах MacOS для компьютеров Macintosh) и масса других, которыми пользуются единицы пользователей. Amaya почти не используется, особенно в России. А ещё нужно помнить, что у разных пользователей разное разрешение экрана и разные операционные системы. Иногда это может приводить к искажениям при загрузке иллюстраций или даже к более заметным неприятностям. И очень просто. Особенно в Опере.

В настоящее время самыми популярными для российских пользователей Интернета являются крупные поисковые системы индексного типа: Эти системы учитывают грамматические особенности русского языка, поэтому результаты их поиска в русскоязычных ресурсах отличаются более высоким качеством, чем у западных систем. Яндекс (Поисковая система Yandex) Рамблер (Поисковая система Rambler) Google (Поисковая система Google) Yahoo (Поисковая система Yahoo) AltaVista (Поисковая система AltaVista) Апорт (Поисковая система Aport) Nigma (Поисковая система Nigma)

Яндекс — российская система поиска в Сети. Сайт компании, Yandex.ru, был открыт 23 сентября 1997 года. Отличительная особенность Яндекса — возможность точной настройки поискового запроса. Rambler –создан в 1996 году. Поисковая система Рамблер понимает и различает слова русского, английского и украинского языков. По умолчанию поиск ведётся по всем формам слова. Интеллектуальная поисковая система Nigma.ru - это первая кластеризующая поисковая система в Рунете. В рамках проекта команда программистов работает над созданием системы, построенной на основе разработок в области искусственного интеллекта. Конечная цель проекта - создание программного обеспечения, позволяющего анализировать проиндексированные документы и выдавать конкретную информацию на запрос пользователя, а не ссылки на другие сайты. Разработчиками были созданы такие сервисы, как Nigma-математика, Nigma-химия и Nigma-музыка. Ежедневно пользователи поисковой машины Nigma.ru делают более 1 миллиона переходов на сайты, ежемесячная аудитория сайта Nigma.ru составляет более 3 000 000 уникальных посетителей. Руководитель проекта — Виктор Лавренко — выпускник факультета Вычислительной математики и кибернетики (ВМК) Московского государственного университета, ранее работавший в компании Mail.ru в должности вице-президента по стратегии и финансам. AltaVista (буквально - "взгляд сверху" - может считаться крупнейшей поисковой системой Интернета, имеющей в базе данных более 100 миллионов документов, фантастически быстрый полнотекстовый (включая точные фразы) поиск в которой имеет целый фейерверк возможностей продвинутого поиска. Не стоит забывать и о "маленькой детали": запросы, направляемые в "пижонский каталог" Yahoo!, в случае отсутствия результатов, автоматически перенаправляется в AltaVista, где в любом случае найдется все, что угодно...

ПОИСКОВАЯ СИСТЕМА YAHOO.RU

ПОИСКОВАЯ СИСТЕМА APORT.RU

ПОИСКОВАЯ СИСТЕМА MAIL.RU

ПОИСКОВАЯ СИСТЕМА ALTAVISTA.RU

ПОИСКОВАЯ СИСТЕМА NIGMA.RU

ПОИСК ИНФОРМАЦИИ В YANDEX' е

ПОИСК ИНФОРМАЦИИ В YANDEX' е

– это программа, которая в соответствии с запросом пользователя «просматривает» индекс на предмет наличия нужной информации и возвращает ссылки на найденные документы. Множество ссылок на выходе системы распределяется программой в порядке убывания релевантности, то есть от наибольшей степени соответствия ссылки запросу к наименьшей. При поиске в Интернете важны две составляющие – полнота (ничего не потеряно) и точность (не найдено ничего лишнего). Обычно это все называют одним словом – релевантность, то есть соответствие ответа вопросу. Почему нужный документ не может быть обнаружен? Прежде всего, документ не будет найден поисковой машиной, если он на ней не прописан. Запомните! Недостаточно разместить что-либо в Интернете. Надо прописать это на поисковой машине, иначе найти размещенный в сети материал постороннему человеку будет очень сложно. Следующее – это специализация поисковых машин. Поисковые машины yandex.ru, rambler.ru, yahoo.ru относятся к группе общего назначения. Именно с них следует начать поиск в Интернете. Глава 3. Особенности составления запросов

Поисковая система km.ru используется для поиска в различных энциклопедиях и учебных пособиях, вышедших после 1990 года. AltaVista – коммерческая поисковая машина, Google – новости. На поисковых машинах Fast, Инфоарт, ИППИ РАН, Русский интернет и Апорт можно найти информацию, связанную с куплей-продажей. Конечно, немаловажно правильно подобрать поисковую машину, но самое главное все-таки умение корректно составить запрос. Для того чтобы это сделать, необходимо знать некоторые правила, в соответствии с которыми нужно составлять запросы для поисковой машины. Для того чтобы сделать поиск более продуктивным, во всех поисковых системах существует специальный язык формирования запросов со своим синтаксисом. Запрос состоит из слова (фразы), которое(ая) является «ключом» для поиска документа. Ключевые слова в запросе следует писать строчными (маленькими) буквами. Это обеспечит поиск всех ключевых слов, а не только тех, которые начинаются с прописной буквы. В общем случае, регистр написания поисковых слов и операторов значения не имеет, то есть слова «дом», «Дом», «доМ» и «ДОМ» - все будут восприниматься одинаково. Это полностью касается и латиницы.

Знаки пунктуации, такие как точка(.), запятая(,), двоеточие(:) и точка с запятой(;), игнорируются запросом. Символ (*) позволяет строить запрос с неполными словами, например, запрос «cтр*» соотвествует словам «cтроитель», «cтрока», т.е. всем словам с совпадающими начальными буквами (или символами). Запрос игнорирует «noise» слова (союзы, артикли и т.п.). Например, если ваш запрос «Я и Ты», то этот запрос также равносилен запросу «Я не Ты» и другим аналогичным. При поиске учитываются все формы слова по правилам русского языка, независимо от формы слова в запросе. Например, при поиске по слову «человек» будут также найдены документы, содержащие слова «о человеке», «человеку», «человеком», «человека» и, что очень важно даже слова «люди» , «людям» , «людей» . Чтобы провести поиск только по одной определенной форме слова, нужно взять его в двойные кавычки или воспользоваться поиском точной фразы в расширенном поиске. Для поиска устойчивого словосочетания следует заключить слова в кавычки, например «домик в деревне». Для поиска по точной словоформе перед словом надо поставить восклицательный знак. Например, для поиска слова «доклад» в родительном падеже следует написать «!доклада».

Два запроса, соединенные оператором AND (&, И) образуют сложный запрос, которому удовлетворяют только те документы , которые одновременно удов-летворяют обоим этим запросам. Иными словами, по запросу “школаANDма-тематика” или “школа&математика” найдутся только те документы, которые содержат и слово ‘школа’, и слово ‘математика’ одновременно. Если эти слова встретятся в текстах отдельно, поисковая машина Вам эти тексты не покажет. Сложному запросу, состоящему из двух запросов, соединенных оператором OR (|, ИЛИ) удовлетворяют все документы, удовлетворяющие хотя бы одному из этих двух запросов. По запросу “школа OR математика” или “школа|мате-матика” найдутся документы, в которых есть хотя бы одно из этих двух слов, или либо оба эти слова вместе. Оператор NOT (!, НЕ) образует запрос, которому отвечают документы, удов-летворяющие левой части запроса и не удовлетворяющие правой. Так, результатом поиска по запросу “школа NOT математика” или “школа!математика” будут показаны все документы, в которых есть слово «школа» и при этом в данном документе отсутствует слово «математика». Если оператор явно не указан, используется оператор по умолчанию AND- находятся только документы, содержащие все слова запроса. Так запрос «информация школа успеваемость» будет истолкован как «информация AND школа AND успеваемость» . На странице Расширенного поиска оператор по умолчанию может заменить на OR (Искать слова запроса : хотя бы одно).

Ищите больше, чем по одному слову. Одно слово, указанное для поиска, даст множество бесполезных ссылок. Поэтому лучше набирайте больше ключевых слов, связанных с искомой темой. Многие поисковые машины чувствительны к регистру букв. Начиная слово с большой буквы, вы не найдете слов, написанных с маленькой буквы, если это слово не первое в предложении. Поэтому не набирайте обычные слова с большой буквы (используйте их только в именах собственных). Если один из найденных документов ближе к искомой теме, чем остальные, нажмите на ссылку "найти похожие документы". Используйте синонимы. Если список найденных страниц слишком мал или не содержит полезных страниц, попробуйте изменить слово. Проверяйте орфографию. Если поиск не нашел ни одного документа, то вы, возможно, допустили орфографическую ошибку в написании слова. Проверьте правильность написания!

ДО ПРИЯТНЫХ ВСТРЕЧ В ПАУТИНЕ

ppt4web.ru

Информационно поисковые системы и их классификация

Добрый день, уважаемые читатели! Сегодня я хочу предложить вашему вниманию такую важную для любого пользователя тему, как информационно поисковые системы и их классификация. Поскольку именно с них начинается так называемый «серфинг» в Интернете, стоит найти время на их более подробное изучение.

Статья получилась довольно объёмной – уж больно обширен предмет изучения. На сегодняшний день существуют десятки поисковиков различной степени популярности. Надеюсь, что, осилив текст до конца, вы сможете выбрать тот, который в наибольшей степени соответствует вашим текущим задачам. Итак, начнём.

Для удобства чтения привожу оглавление:

1. Определение и суть термина
2. Немного истории
3. Виды и характеристики
4. Цифры и факты
5. Поисковики в деталях

Определение и суть термина

Что, собственно, такое поисковая система? Это механизм поиска информации, основанный на отборе необходимых данных в базе (каталоге сайтов) и формировании выборки (списка сайтов), которая в наибольшей степени отвечает характеру введенного вами запроса.

Главной характеристикой успешной работы системы является именно релевантность, то есть то, насколько соответствует список сайтов, которые вы видите на мониторе, тому запросу, который вы только что ввели. Поиск обычно ведется по ключевым словам. Например, по запросу «лодочные моторы» вы можете получить статьи о том, как правильно выбрать данный товар, сайты магазинов, где вы можете приобрести и другую соответствующую информацию.

Примечательно, что современные поисковые системы осуществляют операцию поиска не только сайтов, но и по документам в различных форматах, изображениях и аудиофайлам. Это очень удобно, поскольку если вам понадобится, к примеру, какая-либо музыкальная композиция, вы сможете найти ссылку для её скачивания с помощью поисковика.

Немного истории

Первый поисковый механизм появился относительно недавно – в 1990 году. Программа называлась Archie и осуществляла поиск в специальной базе по именам хранящейся в ней файлов. Настоящий прорыв в этой области произошел в 1994 году, когда появилась первая ПС, работающая с помощью робота, которая так и называлась Web-Crawler. Здесь можно было искать не по заголовкам файлов, но по любым словам на страницах. Именно так работают современные поисковики.

Понятие же поискового робота стало ключевым для всех систем, именно поэтому о нём стоит упомянуть отдельно. Данная программа автоматически посещает новые страницы и разделы веб-сайтов и заносит информацию о них в свою базу. Современные автоматизированные поисковики именно с его помощью оперативно обновляют информацию в своих каталогах.

Упоминание о большинстве первых ПС сегодня можно найти лишь в соответствующих разделах ИТ-энциклопедий. Из сегодняшних лидеров рынка давайте отметим дату появления Яндекс – 1997 год и Google, который был запущен в 1998.

Виды и характеристики

Первое, что отличает различные поисковики друг от друга, – это принцип их работы. Так существуют ПС:

• Автоматизированные, для работы которых используется вышеупомянутый поисковый робот.
• Управляемые вручную, когда информацию о новых сайтах в них заносит человек, составляя так называемый каталог ресурсов. Этот тип, широко распространённый ранее, постепенно сдаёт свои позиции – слишком быстро меняется сегодня интернет-среда, без помощи машин за её темпом просто не успеть.
• Гибридные, совмещающие в себе характеристики первых двух типов. Здесь результаты работы робота проверяет человек. Это обеспечивает и высокую скорость обновления, и достаточно высокую точность выборки.
• Мета-системы, которые сегодня сильно сдают свои позиции в следствии совершенствования первых трёх типов. В основе их работы лежит не создание собственной базы данных, а анализ и формирование выборки из данных сразу нескольких обычных поисковиков.

Поскольку поисковики собирают и ранжируют информацию, то и способы их взаимодействия с данными тоже могут сильно различаться. Основной единицей хранения и классификации бывает:

• Факт, то есть информационная единица, содержащаяся в тексте сайта. Так работают фактографические системы. Чем это полезно конкретному пользователю, то есть Вам? Это самая мелкая из возможных структурных единиц текста, поэтому и точность выборки будет высока. Практически исключается ситуация, когда под релевантным вашему запросу заголовком скрывается совершенно бесполезное содержимое.
• Другой тип систем – документальные – не осуществляет дробления текста на столь мелкие фрагменты. Его базовой структурной единицей, как видно из названия, является документ.
• Геоинформационные ПС осуществляют привязку не только к содержимому сайта, но и к его местоположению.

Кроме того, различают глобальные системы, которые анализируют все ресурсы, имеющиеся в мировой сети, а также локальные или региональные системы, ограничивающиеся рамками определённого региона. Иногда при этом учитываются даже культурные и религиозные традиции этой местности. Последнее верно, например, для региона Ближнего Востока. Местные поисковые системы осуществляют дополнительную фильтрацию ссылок, отсеивая нежелательное содержимое и исключая такие сайты из результатов поиска.

Цифры и факты

А какой поисковик предпочитаете Вы? Не нужно быть пророком, чтобы предсказать, что большинство читателей назовут всемирно признанный Google или безусловного лидера российского лидера – Яндекс. Пользуетесь чем-то другим? Тогда вас можно смело назвать пользователем с оригинальным вкусом. Для подтверждения приведу немного статистики.

1. Google – 69,24%. Несомненный лидер, ни одна другая ПС пока не может даже приблизится к этому результату. Единственный мировой лидер, пользующийся успехом и в России.
2. Bing – 12,26%. Как видите, разрыв между первой и второй позицией огромен. В России эта ПС почти неизвестна (примерно 0,7% всех запросов в Рунете обрабатывается с её помощью).
3. Yahoo! – 9,19%. В России его результат ещё скромнее, всего 0,2% поисковых запросов Рунета в месяц.

Другие зарубежные поисковики имеют ещё более скромные результаты.

А что же в России? Здесь лидирующие позиции у Яндекса, который выбирают чуть более 50% пользователей, Google у нас немного отстаёт – его предпочитают немногим более 40% пользователей. При этом многие пользователи используют каждый из этой победной двойки для решения конкретных задач. В частности, с помощью Google удобнее осуществлять поиск во всемирной паутине, если вас интересует именно глобальная выборка, если же нужны в первую очередь русские сайты, Yandex лучше справится с этой задачей.

Среди систем, ориентированных именно на русскоязычный сектор интернета (русские, украинские, белорусские сайты, другие страны СНГ), разрыв в показателях ещё выше, чем у зарубежных:

1. Яндекс – 50%
2. Mail – чуть больше 6%
3. Рамблер – всего полпроцента.

(За данные спасибо Википедии).

Поисковики в деталях

В этом разделе более подробно поговорим о шестерке лидеров, определившихся в предыдущем разделе: Google, Bing, Yahoo, Яндекс, Mail и Рамблер. Несмотря на то, что некоторые из них лидерами можно назвать пока лишь условно, всё-таки у каждой есть свои поклонники.

Google появилась в 1998 году и с тех пор неуклонно наращивает свою аудиторию. В основу работы данной ПС был впервые положен механизм определения релевантности страницы по количеству данных на неё ссылок. Это была настоящая революция, которая и определила направление развития поисковых систем на ближайшие годы.

Сегодня о популярности этого поисковика наиболее красноречиво говорит факт официального включения во многие словари глагола to google (русский вариант – «гуглить»). Именно Гугл проиндексировано более 25 миллиардов страниц, что является абсолютным рекордом всемирной паутины. Территория охвата пользователей у неё также самая широкая ведь Google функционирует более чем на двух сотнях языков.

Датой рождения Bing считается 1 июня 2009 года. Впрочем, если вы уже давно дрейфуете в необъятных пространствах Интернета вы могли быть знакомы с ней и ранее, поскольку возникла она на основе известной мета-системы MSN Search.  Её успеху способствовало несколько факторов, например, возможность получить все результаты поисковой выдачи по нужному вам запросу на одной странице. Если Вы, уважаемый читатель, часто ищете в Интернете, информацию в какой-либо крайне узкой сфере, то, наверное, провели довольно много времени, пролистывая страницы с результатами. На популярность Bing играет и возможность изменять объём информации по каждому из сайтов в выдаче в настройках.

Основным достоинством Yahoo!, появившегося ещё в далёком 1995, является ручное добавление сайтов в каталог, обеспечивающее высокую точность поисковой выдачи. Кроме того, в настройках можно выбрать поисковый механизм, с помощью которого будет осуществляться поиск (если найти информация с помощью Yahoo! не удалось, система выполнит повторный поиск на основе AltaVista в автоматическом режиме).

Яндекс в данный момент не имеет конкурентов среди российских ПС. Как не сложно догадаться его доля мирового рынка также высока – он занимает 4-е место по популярности. Эта ПС начала работу в 1997 и, хотя на тот момент в России уже были свои поисковики, быстро обошла конкурентов. Несомненным преимуществом для русскоязычных пользователей является высокая морфологическая точность обработки запросов на русском языке с учётом всех его особенностей. Также поиск с помощью Yandex можно вести на украинском, белорусском, казахском и других языках.

Важной особенностью является и достаточно точное региональное ранжирование, что совсем немаловажно с учётом огромных размеров территории нашей страны. Если геолокация важна для вводимого пользователем запроса, то выборка будет составлена с максимальной точностью. Ведь, согласитесь, не слишком приятно, когда вы хотите, например, заказать пиццу в Челябинске, а попадаете на сайт пиццерии, расположенной в Перми? Для того чтобы получить точную выборку, необязательно указывать город в строке поиска, он будет определён системой автоматически. Конечно, другие поисковики также выполняют эту функцию, но именно Яндекс справляется с этой задачей наилучшим образом.

Вторая по распространённости среди российских ПС – Mail появилась в 1998 году. Сегодня данный ресурс представляет собой серию тематических порталов (Деньги, Работа, Здоровье, Авто, Дети и другие тематики). Соответственно, в поиске могут отображаться не только результаты поисковой выдачи, но и ссылки на соответствующие тематические статьи в нужном разделе самого Mail. Такую поисковую выборку принято называть интегрированной.

Рамблер, появившийся в 1996 году, вплоть до 2001 года стабильно оставался в лидерах российского сегмента поисковиков. С 2011 года он официально прекратил своё функционирование как поисковая система и стал медийным интернет-порталом. В первую очередь для пользователя это означает максимальное удобство – новости и результаты поиска ранжируются с учётом недавней активности пользователя. Как Рамблеру удаётся настолько точно определить его интересы? Анализируются все сайты с установленным блоком контекстной рекламы Бегун, на которые недавно заходил пользователь. Поскольку Бегун является одним из наиболее распространённых сервисов, выборка для анализа получается значительной.

Если вы успешно добрались до конца данной статьи, то ваши знания об имеющихся поисковых системах несомненно расширились. Надеюсь, что вам было интересно. Не забудьте подписаться на обновления, чтобы не пропустить новые полезные материалы, и заходите почаще.

Спасибо за внимание! Пока-пока.

С уважением, Роман Чуешов

Прочитано: 52 раз

romanchueshov.ru

основные понятие и виды пс

Добрый день, мои уважаемые читатели. Сегодня мы коснемся чрезвычайно интересной и важной темы – информационно поисковые системы. Умение правильно работать с ними, знание основных понятий и принципов работы смогут помочь начинающим пользователям научиться быстро и оперативно искать различную информацию в сети, получать нужные данные и быстро развивать свой интернет бизнес.

В данной статье я расскажу об истории создания систем поиска, принципах их работе и структуре. Помимо этого, остановлюсь на очень важных фишках, которые необходимо обязательно знать при работе с ИПС.

Итак, давайте более подробно изучим, что такое ИПС, какие компоненты входят в их состав.

Информационно – поисковые системы (ИПС) и их виды

Данное понятие возникло еще в конце 80 – х, начале 90 – х годов прошлого века. Именно тогда и возникли их первые прототипы, как в России, так и за рубежом. Согласно определению – это система, которая позволяет искать, обрабатывать, отбирать требуемые данные запроса в своей особой базе, где находятся описания различных источников информации, а также правила пользования ими.

Основной ее задачей является поиск нужной пользователю информации. Для того, чтобы он был более эффективным, используется понятие релевантности, то есть то, насколько сами результаты поиска точно подходят тому или иному запросу.

К основным типам ИПС относятся следующие понятия:

• Каталог, который представляет собой специально созданную структуру. Он имеет свою четкую классификацию по различным темам. Каталоги также включают особые аннотации с многочисленными ссылками на различные ресурсы в сети интернет. Это могут быть сайты, порталы, веб-страницы и т д.  Разработка каталогов той или иной ИПС явилось очень удобной благодаря тому, что они могут поддерживать оперативный поиск той или иной категории различных ресурсов по особым ключевикам (словам) с использованием специальных роботов – пауков.

Индексация каталога может производиться, как вручную, так и автоматически с обновлением индекса. В свою очередь сам результат работы системы включает в себя особый список. В него входят гиперссылка на требуемые ресурсы и  описание того или иного документа в интернете.

Из наиболее популярных каталогов можно выделить: Yahoo, Magellan (зарубежные)  и Weblist, Улитка и @Rus из отечественных.

• Поисковая машина представляет собой особую структуру поиска, которая для формирования базы данных применяет специальных роботов. Она содержит различные данные об интернет – ресурсах. Самым главным ее преимуществом является то, что ее основные функции автоматизированы, а ее база создается поисковым роботом.  Для того чтобы произвести поиск в данной системе, пользователь вводит запрос, который включает в себя набор доступных ключевиков, либо фразу в «кавычках». В свою очередь индекс создают роботы – индексировщики. Само описание документа содержит: начальные предложения статьи, кусочек текста, где выделены «ключевики». В документе также есть дата, когда обновляли документ, его размер в Кб или Мб, а также кодировка.

К наиболее распространенным зарубежным ИПС относят – Google, Altavista, Excite. Русские – «Яндекс» и «Рамблер».

• В мире существует огромное количество различных видов ИПС, которые содержат множество источников информации. Разумеется, что даже наличие самого современного и мощного сервера не может удовлетворить запросы миллионов пользователей. Именно поэтому, появились специальные метапоисковые системы. Они могут одновременно пересылать запросы пользователей различным поисковым серверам, а на основе своего обобщения имеют возможность предоставить пользователю документ, содержащий ссылки на требуемый ресурс. К их числу можно отнести – MetaCrawler или SavvySearch.

История создания ИПС

Самые первые ИПС появились в середине 90 – х годов 20 века. Они весьма напоминали обычные указатели, которые находятся в любых книгах, некие справочники. В их базе данных содержались специальные ключевики (слова), которые различными способами собирались с многочисленных сайтов. Так, как интернет – технологии были не совершенными, то и сам поиск выполнялся только по ключевым словам.

Значительно позднее был разработан специальный полнотекстовый поиск, облегчающий нахождение необходимой пользователю информации. Система производила фиксацию ключевых слов. Благодаря ей, пользователи могли производить нужные запросы по тем или иным словам и различным словосочетаниям.

Одной из первых, была «Wandex». Ее разработкой занимался очень известный программист Мэтью Греэм в 1993 году. Также, в этом же году возникла и новая «поисковка» «Aliweb» (кстати, и по сей день успешно работает). Однако все они имели достаточно сложную структуру и не обладали современными технологиями.

Одной из наиболее удачных явилась «WebCrawler», которая впервые была запущена в 1994 году. Отличительной особенностью и главным преимуществом, выгодно выделяющим ее среди других систем поиска, явилось то, что она могла находить любые ключевики на той или иной странице. После этого, это стало своего рода эталоном и для всех остальным ИПС, которые разрабатывались позднее.

Значительно позже возникли и другие поисковики, которые иногда конкурировали между собой. Это были – «Excite», «AltaVista», «InfoSeek», «Inktomi» и многие другие. Начиная с 96 года, российские пользователи сети начали работать с «Рамблером» и «Апортом». Но, настоящим триумфом для российского интернета, стал созданный в 1997 году  «Яндекс».

Этот российский аналог «Google» стал настоящей гордостью российских программистов. Сегодня, он уверенно теснит конкурента в рунете и также является одним из лидеров по поисковым запросам среди ИПС в России.

На сегодняшний день, имеются многочисленные специальные «поисковики», которые созданы для решения определенных задач. Так, например, информационно – поисковая система «Патрон», разработана для того, чтобы хранить и искать данные по патронам для различного оружия и сейчас применяется, как в органах Министерства Внутренних Дел и спецслужб, так и для охотников – профессионалов и любителей.

Имеются и другие, разработанные для нотариусов, врачей, инженеров, военных, автолюбителей и т д

Как работает ИПС

Работа информационно – поисковой системы является очень сложной. Однако при желании можно разобраться в ее структуре. Первое, что необходимо отметить, что существует особая программа – она называется поисковым роботом (пауком). Данная программа систематически мониторит различные страницы и индексирует их.

Веб сервер создает запрос пользователя на получение той или иной информации, а затем предоставляет данный запрос машине поиска. Поисковик исследует требуемую базу данных, потом составляет полный список страниц, а затем передает веб-серверу. Он в свою очередь окончательно формирует все результаты запроса в «читаемый» вид, затем передает их на «комп» пользователя.

ИПС предназначена для следующих целей:

• Хранить значительные объемы данных;
• Производить оперативный поиск нужной информации;
• Добавлять, а также удалять различные данные;
• Выводить информацию в простом и удобном виде.

Существуют несколько основных типов ИПС:

• Автоматизированные
• Библиографические
• Диалоговые
• Документальные

Какие поисковые системы наиболее популярны сегодня?

На первом месте, без всякого сомнения, находиться неотъемлемый лидер – «Google». На сегодняшний день, к нему адресуется около 80 процентов различных мировых запросов по самым различным сферам. Что касается второго места, то его, также заслуженно, занимает американский «eBay».

На третьем месте, наш, отечественный, российский «Яндекс». На четвертом – «Yahoo» и на пятом – MSN. Еще одним отечественным браузером, но занимающим только 10 место в рейтинге Европы – это российский «Rambler».

 Google

Этот поисковик знают огромное количество пользователей. На сегодняшний день это первая по популярности система в мире! Ежемесячно она обрабатывает более 41 млрд запросов и проводит индексацию 25 миллиардов страниц.

Что касается истории создания компании «Google», то еще в 1996 году, пара студентов университета Стэнфорда – Ларри Пейдж и Сергей Брин разработали браузер, созданный на новых методах поиска. Назвали они ее просто и лаконично, как собственно и дизайн поисковой системы «Google». Собственно название google – это искаженный googol (число десять в сотой степени).

В основе нее специальный поисковый робот, который называется «Googlebot». Он производит сканирование страниц и их индексацию. В качестве алгоритма авторитетности, эта ПС PageRank. Собственно именно он обеспечивает то, как будут выдаваться страницы посетителю в поисковых результатах.

Одним из первых, эта фирма разработала и голосовой поиск на различных языках, который значительно облегчает введение данных в систему. Ну, и наконец, именно этот браузер и послужил основой для слова «гуглить», которое все чаще встречается в сленге молодых тинейджеров.

«Yahoo» – вторая по популярности в США. Ее организовали в 1994 году два аспиранта Стэнфорда – Дэвид Фило и Джерри Янг. В конце 90 –х ими был приобретен портал RocketMail и на основе него создан бесплатный почтовый сервер «Yahoo». Сегодня на ее серверах можно хранить любое количество писем. В 2010 году появляется и русскоязычный ресурс почты – Yahoo! Почта.

Яндекс

Одним из лучших российских поисковиков, вне всякого сомнения, является «Яндекс». На сегодняшний день он стоит на четвертом месте по общему количеству запросов. В то же самое время, по популярности «Яндекс» занимает сегодня первое место в Российской Федерации. Общее количество произведенных запросов превышает 250 миллионов каждый день

Он был представлен в сентябре 1997 года, а уже в мае 2011, произведя размещение своих акций на IPO, эта фирма смогла заработать наибольшее количество акций среди других интернет – компаний.

Сегодня, «Yandex» имеет 50 сервисов, из которых некоторые уникальные – Яндекс.Поиск, Яндекс.Карты, Яндекс.Маркет. Помимо этого, российских пользователей очень интересуют такие сервисы, как «Поиск по блогам», «Яндекс Пробки». Основные запросы для пользователей в основном из следующих стран ближнего зарубежья: Россия, Белоруссия, Турция и Казахстан.

Исторически фирму основал бизнесмен – программист Аркадий Волож в 1989 году. Само название компании было придумано Ильей Сегаловичем, директором «Яндекса». Благодаря сотрудничеству с институтом проблем передачи информации был создан справочный словарь с поиском.

В отличие от других браузеров, Яндекс браузер учитывает и морфологию русского языка. Таким образом, сама система предназначена именно для работы в русскоязычном сегменте интернета.

Начиная с 2010 года, помимо браузера «Yandex.ru» появился еще один поисковик «Yandex.com». Данный интернет – ресурс используется для поиска по зарубежным порталам.

Поисковая система «Ebay»

Ebay представляет собой интернет – компанию из США, которая специализируется на проведении интернет – аукционов. Она производит управление портала eBay.com, а также версиями в других странах мира. Помимо этого, в собственности фирмы есть еще одна eBay Enterprise.

Основателем фирмы является американский программист Пьер Омидьяр, который в середине 90 – х годов разработал интернет – аукцион для своего личного портала. В то же время, eBay – это своего рода посредник при купле продаже. Чтобы использовать его продавцы вносят определенный взнос, а покупатели получают возможность бесплатного использования сайта.

Общие принципы его работы следующие:

• В основном все люди добропорядочны
• Каждый может внести свой вклад
• В открытом общении люди проявляют свои лучшие качества

Уже в 1995 году на тысячах онлайн аукционов продавались миллионы различных предметов. Сегодня, это мощная платформа для купли продажи, как физлицами, так и юрлицами.

С 2010 года возникла и русскоязычная версия популярного ресурса и стала называться «Международный торговый центр eBay». Оплата на аукционе производится через платежную систему «PayPal».

Для того, чтобы продать предметы на данном портале необходимо написать сколько он стоит, его стартовая цена, когда начнутся торги, а также сколько будут длиться  торги. Как и в обычном аукционе, выбранный товар получает заплативший самую высокую цену.

Из плюсов подобного аукциона стоит отметить то, что продавец и покупатель могут находиться в любом месте земного шара, а наличие локальных филиалов и временных рамок предоставляют возможность участвовать в аукционах огромному количеству продавцов и покупателей.

MSN

Данная поисковая система является ведущим интернет – браузером, разработанным компанией «Microsoft». Он появился одновременно с выпуском первой операционной системы Windows 95. Далее этим названием стал пользоваться и сервис электронной почты Hotmail, а также различные веб-узлы Майкрософт. В начале 2002 года он являлся одним из самых крупных интернет – провайдеров в США и имел 9 миллионов подписчиков.

Поисковая система Rambler

Вторым крупным российским поисковиком, является интернет – портал «Rambler». По своей сути, вместе с «Яндекс» он является родоначальником рунета, а также главным игроком на рынке медиа услуг.

Основателем его является Сергей Лысаков, который в 1994 году разработала поисковую систему, а в 1996 году был зарегистрирован и домен www.rambler.ru. Начиная с 2012 года, «Рамблер» стал работать, как новостной портал.

Сегодня он имеет 11 место по популярности среди других сайтов РФ. Также, был разработан и специальный классификатор Rambler Top-100. По своей сути он был первый и в России. Сегодня – это удобный каталог объектов недвижимости «Rambler – недвижимость».

Поисковик  mail

Одной из самых крупных почтовых служб явилась, созданная в 1998 году, Mail.ru. Сегодня она представляет собой службу электронной почты, каталог интернет – ресурсов и информационные разделы. Помимо очень удобной почты, она имеет ряд специальных проектов, которые весьма популярны и нужны подписчикам: «Авто Mail.ru», Афиша «Mail.ru», «Дети mail.ru», «Здоровье mail.ru», «Леди mail.ru», «Новости mail.ru» и «Недвижимость mail.ru».

Для любителей спорта и Hi-Tech есть соответствующие рубрики.

На этом я завершаю свой материал. Если вам нравилось, то, пожалуйста, подписывайтесь на мой блог и приглашайте своих родных, друзей и знакомых.

Думаю вам будет интересно почитать, как правильно вести свой блог и в интернете, сколько стоит создать блог и еще много другой интересной и полезной информации на моем блоге. Это все. До встречи.

Пока-пока!

С уважением, Роман Чуешов

Прочитано: 284 раз

romanchueshov.ru

Основные виды поисковых систем - v-mire.net

Поисковая система – дыхание интернет пространства, и это не просто ее название – Google или Yahoo. Это программа определенного вида, которая несет в себе определенные функции.

Есть несколько видов поисковых систем, которые отличаются не только географическим размещением, но и темой, форматом искомой информации (текст, видео, аудио), а также методами производимого поиска.

Так какие же бывают основные виды поисковых систем?

1. Поисковые каталоги

В которых информация хранится в виде тем — категорий и подкатегорий. Достоинства каталогов в качестве материала, который представляет собой классическую и наиболее популярную информацию по представленной теме. Поэтому, каталоги являются первоисточниками для ознакомления с новыми темами, которые незнакомы пользователю. Однако, малоизвестные ресурсы, и при этом достаточно прогрессивные, в таких каталогах встречаются редко.Например, к поисковым каталогам можно отнести всем известный сайт wikipedia.org, содержащий справочную информацию обо всех и обо всем.

2. Рейтинговые системы.

Вариация поискового каталога, которая предусматривает организацию выдачи по количеству обращений посетителей. То есть, основным критерием является популярность ресурса, которая, увы, не всегда свидетельствует о его полезности, содержательности и информативной ценности. Поэтому, рейтинговые системы больше всего подходят для поиска развлекательных и новостных материалов.Примером рейтинговой системы является знаменитый портал оценки популярности интернет-ресурсов alexa.com.

3. Поисковые указатели

Отдельный класс, выделяющий данные поисковые системы среди всех прочих, которые организовывают поиск интернет-ресурсов по ключевым словам. Успех поиска полностью зависит от слов, заданных в запросе, и поиск с использованием ключевых слов и фраз далеко не всегда бывает эффективным, ввиду разнообразия «великого и могучего» языка. Однако, когда необходим редкий материал на конкретную тему, правильно подобранные ключевые слова делают данный вид поисковой системы незаменимым. Этот вид характеризует большую часть поисковых систем.

Современные поисковые системы с успехом объединяют все данные функции, постоянно совершенствуя механизмы поиска с целью сделать поисковую выдачу максимально релевантной, то есть максимально подходящей и соответствующей смыслу поискового запроса.Постоянно идет работа над усовершенствованием алгоритма исключения из выдачи неправдоподобных результатов и борьба против недобросовестного продвижения «черных» оптимизаторов.

Помимо основных функций, которые выполняет поисковая система, порталы, на которых размещается поисковая строка, используют беглый взгляд пользователя для предоставления информации рекламного характера в рамках темы поискового запроса, а также предоставляют сервисы социальной сети, почтового сервера, инструментов вембастера и множество других.

ТОП-5 поисковиков в мире

Популярность поисковых систем определяется по количеству обрабатываемых ими запросов. Итак, кто они, лидеры интернет-поиска?

1-е место с существенным отрывом занимает и прочно удерживает Google, обрабатывая до 70% от общего количества запросов, что составляет около 115 миллиардов запросов.

2-е место – поисковая система Китая Baidu, на долю которой приходится 8% от общего объема запросов, а именно – 14,5 миллиардов запросов.

3-е место — за поисковой системой Yahoo!, месячный объем у которой составляет 8,6 миллиарда обработанных запросов.

4- место – поисковик от Microsoft — Bing, обрабатывающий около 5 миллиардов запросов ежемесячно.

5-е место занял российский Yandex со «скромным» показателем 3 миллиарда обрабатываемых запросов.

v-mire.net

Смотрите также

• 
  В приложении браузер произошла ошибка как исправить
• 
  Punto switcher не переключает раскладку в браузере
• 
  Как установить на смарт тв филипс браузер
• 
  В чем отличие браузера от поисковой системы
• 
  Как сохранить пароль в яндекс браузере вк
• 
  Как убрать рекламу в браузере в телефоне
• 
  Как удалить пароль в вк в браузере
• 
  Как перейти с одного браузера на другой
• 
  Как очистить историю в браузере на телефоне
• 
  Как зайти на linkedin через яндекс браузер
• 
  Как сохранить экспресс панель в яндекс браузере