Как искать и хранить адреса сайтов? Адреса сайтов

Что такое адрес сайта

14 05 2012 Admin 1 комментарий

Сайты и их адреса (url)

Давайте для простоты усвоения разберём наглядно как всё это дело выглядит.

Чтобы было проще, доменные зоны отнесём к странам, а серверы, входящие под доменные зоны, к городам. Однако, город, если рассуждать логически, структура не монолитная, так как он содержит округа, а так же районы. А вот в качестве аналога домов будут выступать как раз таки сайты у каждого из которых есть свой адрес.

У каждого сайта обязан быть свой адрес

Но этот адрес будет уже не цифровым, как ip адрес сервера, на котором он расположен. Пользователям не будет удобно запоминать эти цифры и для удобство придумали адреса сайтов или как их называют среди разработчиков сайтов URL (УРЛ или ЮРЛ).

Буквенный адрес сайта для пользователей, намного удобнее, чем цифровой. Так же это удобно для создателей сайтов, которые могут привязать свой URL к любому компьютеру, имеющему доступ в Сеть Интернет.

Сайт можно переносить с одного компьютера на другой. К примеру, если сайт располагался на Вашем личном компьютере, например, в городе Белореченске (Краснодарский край, Россия), на компьютер, а точнее на сервер, расположенный в Соединенных Штатах Америки (США), но при этом сам логический адрес сайта изменяться не будет.

Тут было бы уместным задать вопрос: «Почему?» Тут все просто, компьютеры не понимают сам буквенный адрес сайта, так как они обожают ip, ведь цифры вычислительной технике ближе.

Для перевода из буквенного адреса в цифровой (или на оборот), люди придумали специальный переводчик, который носит название – DNS. Сама DNS хранит в себе все таблицы адресов, но изменить эти таблицы очень просто, дел там буквально на 10 минут.

Наверное все слышали про хакерские атаки на сайты? Большинство с ними связано именно с незаконным изменением ссылок страниц адреса, ведущие на левые страницы. Все адреса имеют несколько важных составляющих:1) http:// — протокольный префикс, который обозначает гипертекстовый документ. Он подтверждает, что мы будем работать именно в Сети Интернет.

2) www – абривиатура «3 дабл»ю» означает принадлежность ресурса к Сети. Многие сайты Сети Интернета пропечатывают

Интересные сайты

его перед названием. Но есть сайты, которые вовсе не используют данную принадлежность, прописывая просто свой домен. Как например в на сайте где можно играть в интернет казино слоты без WWW просто — bestforplay.net. Кстати не плохой сайт онлайн казино, когда есть свободное время захожу поиграть.

3) Имя сайта. Оно у каждого свое к примеру: pc-polzovatel.ru.

4) И конечно же зона домена, как без нее. Большие компании, регистрируют свои сайты в нескольких доменных зонах одновременно, обычно каждый сайт имеет свой языковой домен.

Вот некоторые доменные зоны, что-бы было проще усвоить:

RU: Русскоязычные сайты территориально Россия. COM, NET: Западная территория англоязычных доменных зон. Ну естественно зоны ближнего зарубежья: UA, KZ соответственно Украина и Казахстан и так далее и тому подобное… и все остальные которые для нас особого интереса не представляют.

C уважением,pc-polzovatel.ru

Очень обяжете, если поделитесь страничкой!

pc-polzovatel.ru

Интернет адреса (URL) и IP-адреса

Адреса интернет протокола (IPv4)

Наверное каждый знаком с URL (Uniform Resource Locator – унифицированный адрес ресурса) веб сайтов. Адреса подобные „www.yandex.ru” становятся такими же привычными как обычные почтовые адреса. Однако, простая форма адреса из букв и знакомых слов, которую мы используем, создана только для удобства людей и не является видом веб адресов, с которыми работают компьютеры.

Чтобы помочь человеку запомнить адрес, мы используем его мнемоническое представление. Компьютерам не нужна такая помощь, они используют цифровые адреса – адреса интернет протокола (ip-адреса). Компьютеры работают с 32-разрядными двоичными числами. Для удобства представления 32-разрядное число можно разбить на четыре байта. Десятичное представление ip-адреса состоит из четырех чисел, разделенных точками. Каждое число находится в диапазоне от 0 по 255 включительно. В таком представлении ip-адрес Яндекса — 77.88.21.11 (это один из адресов Яндекса на момент написания данной статьи).

Адреса «новой версии» интернет протокола (IPv6)

Адресное пространство IPv4 уже исчерпано. Эта система будет постепенно заменена новой 128-битной системой IPv6. Число адресов IPv6 гораздо больше и составляет 2128. В настоящее время его хватает для выделения адресов огромному растущему количеству подключенных устройств.

128 битный IPv6-адрес можно представить в виде восьми 16-битных чисел. С помощью шестнадцатеричного представления каждый 16-разрядный блок становится 4-значным шестнадцатеричным числом. Блоки разделяются двоеточием. В таком представлении адрес этого сайта — 2a01:04f8:0d12:1940:0000:0000:0000:0003. В каждом блоке незначащие (лидирующие) нули можно опустить, тогда получим 2a01:4f8:d12:1940:0:0:0:3. Последовательность нулевых групп может быть пропущена с помощью двойного двоеточия при условии, что такой пропуск должен быть единственным в адресе. В итоге наш адрес можно упростить до 2a01:4f8:d12:1940::3.

Координирование адресов в интернете

Очевидно, что существует некоторая система формирования IP-адресов и URL. Каждому компьютеру, подключенному к интернету, должен быть выделен уникальный адрес. Порядок и координация адресов в интернете изначально были под покровительством правительства США через организации IANA (Internet Assigned Numbers Authority – Администрация адресного пространства Интернет) и InterNic (Inter-Networking Information Center). Координация была приватизирована и теперь находится под контролем ICANN (The Internet Corporation for Assigned Names and Numbers).

Структура URL

В схематической форме URL представляется в следующем виде:

<протокол:>//<пользователь>:<пароль>@<хост>:<порт>/<путь>

Скобки указывают специфические индивидуальные компоненты и не являются частью фактического URL. Протокол определяет каким образом информация передается и возвращается результат. После обозначения протокола всегда следует двоеточие и два слеша. Двоеточие является неотъемлемой частью имени протокола по аналогии с литерой диска в Windows. Два слеша показывают, что мы ссылаемся не на локальный файл на диске. Наиболее часто используется HTTP протокол, поэтому начало „http://» обычно пропускают при вводе адреса в браузере. Обычный пользователь также может столкнуться с протоколами HTTPS и FTP, которые необходимо указывать в явном виде („https://” и „ftp://”) при вводе в адресную строку.

Пользователи довольно редко сталкиваются с частью „<пользователь>:<пароль>@”, которая позволяет передать сайтам имя пользователя и пароль, которые запрашивают его посредством HTTP протокола (обычно сайты запрашивают пароль путем ввода его в специальные формы на сайте).

А вот с частью „<хост>:<порт>” без указания порта очень часто сталкивается каждый — она указывает к какому именно сайту (хосту) идет обращение. Пользователям нет необходимости задумываться о портах, ведь каждому протоколу соответствует свой порт. Например, протоколу HTTP присвоен порт с номером 80. В части „<хост>” указывается адрес или доменное имя компьютера, на котором находится интересующий нас ресурс. Если указано доменное имя, то ip-адрес запрашивается с DNS серверов интернет провайдера.

Путь к определенному ресурсу (странице или файлу) указывается в части „<путь>”. Очень часто он состоит из имен папки, подпапок и имени файла, разделенными слешами (например, http://www.icann.org/en/participate/what-icann-do.html).

compbasic.ru

Как искать и хранить адреса сайтов? | Техника и Интернет

Если вы увидели в рекламном журнале краткое описание товара и адрес сайта, то на сайте наверняка будут в сотни раз более подробные сведения: об этом товаре, фирме, других товарах.

Если сайт, который сейчас на экране, вам понравился, вы можете нажать кнопку, и он добавится в записную книжку. Теперь в следующий раз его не понадобится вводить буквами, мучительно ища каждую клавишу, а ошибка в одной букве ведет вас в никуда.

Записная книжка электронная, в ней вы каждому сайту можете приписать свое описание. Книжка открывается кликом мыши и на экране возникает список ваших описаний — человеческим языком, без всех этих www, http, com и прочей абракадабры. Например, вот как может выглядеть записная книжка:

БорщиГазета «Неправда»Газета «Правда»Карта ЗурбаганаКулинарные рецептыМагазин «Таракан» (средства против тараканов)Политические новости (выборы)Про кошекПрогноз погоды в ЗурбаганеРасписание поездовТелефонный справочник ЗурбаганаТочное время

Вы кликаете мышью не на www и http, а на эти осмысленные записи, а урл компьютер подставляет сам.

Записная книжка, на сленге она называется букмарк (от английского bookmark) может быть многостраничной. За те годы, что я регулярно пользуюсь Интернетом, длина моей записной книжки все время меняется. Сначала она была коротенькая, потом такая большая, что резервная копия на бумаге занимала 20 страниц мелким шрифтом. Да, компьютер компьютером, но старая добрая бумага надежнее. Потом букмарк стал сокращаться, а в последние несколько лет опять расти… Все это связано с совершенствованием и, я бы сказал, поумнением поисковых систем.

Без поисковых систем современный Интернет немыслим. Точнее мыслим, но это был бы какой-то совсем другой Интернет. Как, например, слон без хобота или, наоборот, змея на толстых ногах.

Напоминаю, что поисковые системы — это тоже сайты, но особого назначения. На них в середине экрана есть окошко, куда вы вписываете (впечатываете на клавишах, конечно) то, что вам надо найти. И они ищут по всему Интернету.

Поисковую систему вы можете послать искать все, что угодно. Скажите ей «лекарства от радикулита», «кофе», «канцтовары», «астрологический прогноз», «партия любителей пива», «рынок горбушка», «джинсы» — все будет найдено в большом количестве. А если вам нужно найти точно что-то одно, то надо точно задать вопрос. Например, точное название газеты, если вы ее ищете и ее сайт есть в Интернете.

Газеты представляют разные политические силы, товары и услуги, религиозные течения, да и просто разные взгляды на жизнь. Названия газет запоминаются легко, а все эти www и http нормальный человек может только по записной книжке и вспомнить. Нормальный человек не может все газеты и прочитать, за исключением специалистов и разных там политологов (они ненормальные). Мы выбираем себе одну-две.

Ладно, заполнили пару ячеек в записной книжке. Но кроме газет есть еще другие сайты.

Как и в любой записной книжке для телефонов есть номера, по которым вы звоните всего раз в год (поздравить с днем рождения, например), но и вычеркивать их жалко. Так и записная книжка разрастается настолько, что в самой записной книжке уже трудно что-то найти. Несмотря на автоматическую сортировку по алфавиту, на разные разделы, темы и прочие компьютерные удобства.

И тут выясняется, что легче найди адрес в поисковой системе, чем искать его в собственной записной книжке!

Я помню, что мне когда-то понравилась статейка, помню название газеты, так вместо того чтобы рыться в записной книжке, я и наберу в поисковой системе это название и через несколько секунд получу ее урл — адрес.

Теперь вы поняли, почему моя записная книжка стала в десять раз короче?

Поисковые системы постоянно совершенствуются и умнеют. Им уже можно задавать вопросы на почти человеческом языке. Самая мощная в мире поисковая система называется «Google», ее адрес в Интернете google.com, а в русской транскрипции ее называют запросто «Гугль».

Корпорация «Google» входит в десятку самых динамично развивающихся фирм мира. Хотя по абсолютным финансовым объемам Гугль еще не догнал «Микрософт» или «Боинг», но при сохранении таких темпов роста вполне может догнать.

Авторитетнейшая в мировых финансовых и политических кругах американская газета «Financial Times» несколько лет подряд называет владельцев и директоров Гугля победителями конкурса «Человек года». Их проигравшими в борьбе за этот титул соперниками были японский премьер-министр, президент Украины и другие важные лица. Эксперты FT подчеркивают, что информационные технологии теперь оказывают даже большее влияние на мир, чем политика.

shkolazhizni.ru

Как правильно настроить URL адрес сайта в файле .htaccess

Доброго времени суток, уважаемые читатели. Каждый, кто хоть немного начал разбираться в поисковом продвижении, занимается продвижением своего сайта, волнуется за правильное индексирование сайта поисковыми роботами, должен уметь правильно настраивать URL адрес сайта, владеть базовыми знаниями о файле .htaccess, уметь внести в него изменения.

И сегодня я хочу рассказать, какие необходимы минимальные настройки, чтобы сайт корректно индексировался, чтобы не создавалось лишнего дублирования страниц.

Конечно, в сети очень много такой информации, но до сих пор, практически ежедневно, я сталкиваюсь с неправильно настроенным адресом сайта, когда главная страница находится по 2, 4, а то и по 6 разным адресам. И это очень плохо.

И главная проблема кроется в том, что в наше время очень легко поставить, практически, любую CMS. И даже не нужно знать никаких особенных знаний. А вот чтобы правильно настроить, как раз и нужны дополнительные знания.

Почему так важно, чтобы URL были правильно сформированы?

Потому что ошибки в URL затрудняют индексирование сайта поисковыми системами, создают дублированный контент, из-за чего у сайта могут возникнуть проблемы с продвижением.Стоит понимать, что несмотря на то, что в ТОПе поисковых систем достаточно часто попадаются сайты с динамическими адресами, с неправильно настроенным адресом сайта, и поисковые системы, конечно же проиндексируют любой сайт, по крайней мере они попытаются это сделать, так вот несмотря на все это, очень важно при создании нового сайта учесть все возможные варианты отображения адреса сайта и не допускать ошибок с самого начала, т.к. это обязательно скажется положительно на сайте, добавит дополнительный плюсик в его карму.

Правильно сформированный адрес – это прежде всего забота о самом себе, точнее о своем сайте, который в ответ обязательно подарит вам больше посетителей, клиентов и прочее.

Откуда берутся ошибки в URL?

Есть несколько источников проблем неправильного адреса сайта и страниц. Первая и самая частая зависит не от CMS, а от настроек самого домена. Так повелось, что во время привязки домена к хостингу, он получает несколько разных адресов, в зависимости от задач, и некоторые из этих адресов индексируются поисковыми системами. Из-за этого создается дублирование. Более подробно об этом ниже.Вторая проблема заключается непосредственно в CMS, которые динамически создают адреса. И об этом мы так же сегодня поговорим.

Стоит понимать, что те или иные проблемы зависят от каждой конкретной CMS. Я постараюсь охватить все проблемы в масштабе, и совсем не обязательно, что все проблемы возникнут на одном взятом сайте. Ведь у разных CMS разная логика, и где одна проблема полностью решена разработчиками, может существовать другая. Итак, приступим.

Что за чудо-юдо файл .htaccess?

Я не хочу грузить вас лишней информацией, но т.к. основные изменения мы будет делать именно в этом файле, то стоит немного рассказать о нем. Это очень полезный, интересный и важный файл для любого сайта. Именно этот файл передает запросы пользователей серверу и наоборот, получая ответ от сервера, пересылает обратно пользователям. В технические аспекты вдаваться не будем, я и сама в них не сильна, а вот уметь настроить адрес сайта должен каждый. Итак, у каждого сайта должен быть файл .htaccess, и он есть в каждой CMS по умолчанию. Но часто, после установки CMS файл имеет другое название и поэтому не выполняет своих функций. Так же он может быть полупустым или настройки в нем могут быть закомментированы. Важно также знать, что в современных CMS файл .htaccess может быть в каждой папке сайта. Но нас интересует только один единственный, который находится в корневой директории сайта, т.е. в той папке, в которой находятся все папки и файлы вашей CMS. Часто эта папка носит названия public_html, html или www.Подключившись к своему сайта по FTP или зайдя в файловый архив через панель управления хостингом, вы обнаружите этот файл. Как уже сказала, если вы им ещё не пользовались, он может иметь расширение txt, как это сделано в Joomla

или иметь название ht, и расширение .access, как это сделано в CMS MODx, что вместе как раз и образует слово htaccess.

Может иметь другое написание, но обязательно образовывать именно это слово htaccess.

Чтобы файл начал выполнять свои функции, его необходимо правильно переименовать. Чтобы не путаться, лучше всего скачать данный файл к себе на компьютер, открыть в блокноте, далее в меню Файл выбрать Сохранить как.

При данном сохранении обязательно в пункте Тип файла выберите Все файлы. А само имя начинается с точки (.). Если вы не поставите точку в начале названия, файл не будет работать.

После этого готовый файл уже можно заново заливать на хостинг. Конечно, вы можете переименовать данный файл и непосредственно в файловом менеджере или в FTP клиенте, просто вы должны быть уверены, что файл не имеет никакого другого расширения, кроме .htaccess.

В зависимости от CMS, возможно, вам придется внести какие-либо изменения в свой файл, чтобы он начал корректно работать, данную информацию лучше искать на официальном сайта тех. поддержки вашей CMS. Сейчас же у нас статья о том, как настроить данный файл для правильного индексирования сайта поисковыми системами.

Не сильна я в технических деталях настройки сервера, но прежде, чем мы приступим, вы должны найти в файле .htaccess такую строчку:

RewriteEngine On

Вообще из всех виденных мной .htaccess эта строка была у всех, а функция mod_rewrite, о которой говорит данная запись, включена у всех хостеров. Но, если вдруг в вашем файле такой записи нет, то лучше уточните у своего хостера, включена ли у них функция mod_rewrite.Ниже этой строки должна быть ещё одна

RewriteBase /

Если ее нет, то добавьте ее самостоятельно. На всякий случай, просмотрите наличие этой строки до самого конца файла.Все остальные записи, о которых пойдет речь в этой статье, должны находиться ниже этих двух строк. Это самое важное, что я хотела сказать прежде, чем мы приступим к основной части данной статьи. Итак, основные ошибки и способы их устранения.

Адрес сайта с WWW или без

Самая часто встречаемая ошибка. Когда вы привязываете свой домен к хостингу, ему прописывается несколько записей типа А. После того, как на хостинг вешается сайт, он становится доступным по разным адресам

http://www.site.ruhttp://site.ru

Это уже классика жанра. Для меня самое удивительное в такой ситуации всегда остается то, что даже если на сайт или внутри сайта нет ни одной ссылки с www, поисковик обязательно проиндексирует его с www.На данный момент, приставка www является аттавизмом, т.е. эта часть домена утратила свою функциональность, и современные сайты не нуждаются в ней. Но многие вебмастера продолжают традицию оставлять адрес сайта с www, и в этом нет ничего плохого. Просто это не несет никакой функциональности. Просто привычка и не более.

Лично мое мнение – www абсолютно бесполезная приставка. Но до тех пор, пока в настройках DNS домена будет оставаться данный пункт, пока поисковые системы непонятным образом будут находить адрес сайта именно с приставкой, на нас ложится ответственность предупреждать возможную проблему дублирования контента на сайте.Итак, сейчас вы должны проверить, как открывается ваш сайт.Сначала вводим в адресную строку браузера адрес своего сайта с www

http://www.site.ru

Сайт загрузился. Если в адресной строке ничего не изменилось, адрес так и отображается с www, то удаляем из адреса www и обновляем страницу. Смотрим в адресную строку браузера.Если адрес изменился на www.site.ru, значит у вас домен настроен на постоянное отображение с www и ничего менять не нужно.

Если адрес сайта не изменился, значит ваш сайт открывается по двум разным адресам, а значит уже создается дублирование контента и поисковый робот скорее всего уже проиндексировал оба адреса, как разные страницы, и уже раздумывает, как бы вас наказать.

Как настроить домен с www или без www

Теперь необходимо решить, в какую сторону менять домен, оставлять его с www или делать без? В таком случае лучше спросить у самих поисковых систем, какой из адресов они считают правильным. И лучше подстраиваться под Яндекс, а не под Google.Раньше было достаточно посмотреть выдачу Яндекса, чтобы понять, какой домен Яндекс считает главным. Но сейчас Яндекс показывает все домены без www, но при этом все равно упорно продолжает индексировать с www.

Какие возможны другие варианты? Можно посмотреть показатель сайта тИЦ с www или без. Эту информацию показывают любые SEO инструменты. Или в Яндекс Вебмастер (что такое Яндекс Вебмастер) в меню выбираем Индексирование сайта – Страницы в поиске. Яндекс показывает список проиндексированных страниц именно с таким адресом, который считает главным. Итак, главное зеркало домена выбрано, осталось внести некоторые изменения в служебные файлы сайта.

Если вы только создали свой сайт и он ещё не проиндексирован поисковыми системами.

При добавлении сайта в инструменты для вебмастеров Google (Как пользоваться инструментами для вебмастера Google) добавить оба адреса, подтвердить свои права, и в настройках (Конфигурация сайта – Настройки) каждого из них, указать Основной домен.
Создать файл Robots.txt и указать в нем директиву Host

User-agent: YandexHost: site.ru

Если ваш сайт уже существует и проиндексирован поисковыми системами, то к этим двум пунктам добавляем третий. Чтобы поисковые системы начали правильно воспринимать адрес вашего сайта, находить его только по одному адресу, то сделать это можно с помощью редиректа 301, который и настраивается в файле .htaccess.Думаю, удобней всего вносить изменения в файл, предварительно скачав его к себе на компьютер. Открываем файл .htaccess. и добавляем 301 редирект (помните, после каких строчек нужно добавить?)

Перенаправляем домен без www на домен с www

RewriteCond %{HTTP_HOST} ^site\.ru$ [NC]RewriteRule ^(.*)$ http://www.site.ru/$1 [R=301,L]

Обратная ситуация, перенаправляем домен с www на домен без www

RewriteCond %{HTTP_HOST} ^www.example.ru$ [NC]RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

Сохраняем, закачиваем файл на хостинг, проверяем доступность сайта по адресу, с которого настраивали перенаправление. Если все сделано правильно, то вбивая адрес в браузере, который не должен индексироваться, во время загрузки страницы адрес сайта в адресной строке бразуера сам изменится на тот, который вы выбрали основным.

Адрес сайта со слэшем / в конце URL или без

Вторая проблема, которая напрямую зависит от CMS – это окончание URL. Ставится ли в конце адреса слэш или нет.

http://site.ruhttp://site.ru/

Вообще, во многих CMS эта проблема решена, сами CMS программно подставляют слэш в конце URL, некоторые наоборот, специально убирают, но в любом случае вы должны проверить. Т.к. есть и такие CMS, которые открывают сайт и так, и так. И если первые два варианта ещё куда ни шло, то последний - очень плохо. Почему это важно? Да потому, что для поисковых систем это разные адреса. И если разработчики CMS не продумали этот момент, то он полностью ложится на плечи вебмастера или оптимизатора.А как правильно, спросите вы? Если не вдаваться в технические детали, то суть в том, что главная страница сайта по сути является каталогом, который содержит вложенные подкаталоги и отдельные страницы – файлы. Исторически так сложилось, что каждый каталог, который содержит внутри себя подкаталоги и отдельные файлы должен заканчиваться слэшем, показывая тем самым, что это каталог, а не конечный документ. Конечный же документ не должен заканчиваться слэшем, сообщая тем самым, что это конечный документ и больше ничего нет. Таким образом, адрес сайта и рубрики, которые содержат конечные документы, должны заканчиваться слэшем.

http://site.ru/

сообщает, что внутри каталога site.ru находятся ещё документы.

http://site.ru/rubrika/

сообщает, что внутри каталога site.ru находится подкаталог rubrika, который содержит в себе ещё какие-то документы. И наконец

http://site.ru/rubrika/page.html

сообщает, что внутри каталога site.ru находится подкаталог rubrika, который содержит в себе документ page.htmlНо это все теория, и в современном интернете все вебмастера разошлись, кто в лес, кто по дрова. И даже окончание .html уже многие также считают аттавизмом, как и www.

А теперь давайте посмотрим, добавляется ли к адресу вашего сайта слэш?

Вводим в адресную строку адрес своего сайта без слэша. Смотрим, добавился слэш или нет. Вводим адрес со слэшем, и также смотрим, изменилось ли что-то в адресной строке. На всякий случай предупреждаю, что в Google Chrome лучше не смотреть, он удаляет все слэши.

Если вас перекидывает на один из вариантов, значит разработчики CMS уже позаботились об этом.

Что делать, если ваш сайт открывается в обоих случаях, и адрес не меняется? В таком случае поможет 301 редирект. Незаменимая просто штука для SEO.

Как настроить слэш в конце адреса сайта

Сначала нам нужно выяснить, а как сама CMS формирует адреса. Не знаю, как это делают профессионалы, я нашла чисто дилетантский способ. С вероятностью в 99% в шапке сайта ваш логотип или название сайта выводится в виде ссылки на главную. А сама ссылка формируется программно CMS. Подводим курсор мышки к ссылке в заголовке или логотипу сайта и внизу браузера смотрим ссылку

Внизу мы видим, что адрес формируется со слэшем на конце. Значит нам нужно прописать в файле .htaccess 301 редирект, который будет перенаправлять с адреса без слэша на адрес со слэшем. Да и вообще, на мой взгляд это самый оптимальный вариант с той точки зрения, что некоторые пользователи, давая ссылку на ваш сайт, могут ее не скопировать из адресной строки, а прописать вручную. И вряд ли кто подумает прописать на конце слэш. А ведь для поисковика это разные ссылки. И такая ссылка принесет значительно меньше пользы.

Настроить слэш в конце URL поможет эта запись

RewriteCond %{REQUEST_FILENAME} !-fRewriteCond %{REQUEST_URI} !(.*)/$RewriteRule ^(.*)$ /$1/ [R=301,L]

Это случается редко, но иногда, в зависимости от CMS, от уже имеющихся настроек, особенно когда настроены ЧПУ ссылки, некоторые настройки могут конфликтовать друг с другом. В таком случае лучше поискать поддержку на официальном сайте CMS, которой вы пользуетесь.

В адресе главной страницы index.php или main

Не знаю, как в других CMS, но главный специалист по формированию таких URL – это Joomla. Да, это такая CMS, которая умудряется выдавать пользователю главную страницу, как минимум, по трем адресам.

http://site.ru/http://site.ru/index.php или http://site.ru/index.htmlhttp://site.ru/main

И это я ещё упустила вариант, когда сам сайт открывается с www и без. А вы проверили свой сайт на Joomla? Или у вас другая CMS? Проверьте на всякий случай. Если сайт новый, то проверяем вручную, вбивая в адресной строке браузера разные адреса. Если сайт уже проиндексирован, то смотрим инструменты для вебмастеров Яндекс и Google, какие страницы находятся в индексе.

Как убрать index.php и main

Если вы обнаружили, что главная страница сайта открывается одновременно по разным адресам, то для вас подойдет такое правило, которое мы прописываем все в том же файле .htaccess.Для страницы main

#RewriteBase /Redirect 301 /main http://site.ru/

Для страницы index.php

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/RewriteRule ^index\.php$ http://site.ru/ [R=301,L]

Обращаю ваше внимание на то, что если вы используете основной адрес с www, то запись http://site.ru/ должна быть с www, т.е. http://www.site.ru/. Соответственно, если вы обнаружили файл index с расширением .html, то указываем его в правиле.

Вот мы разобрали самые частые ошибки в настройке URL адреса сайта и научились их исправлять. Надеюсь, моя статья вам поможет правильно настроить адрес своего сайта. Удачи.

amateurblogger.ru

Нужен ли www в адресе сайта

Почему существуют сайты в двух вариантах http://site.ru и http://www.site.ru

Откуда это появилось? Когда Интернет был маленьким, а сервера слабые, то на на разных серверах стояло разное программное обеспечение для разных целей:

www.site.ru - сам сайт

mail.site.ru - почтовый сервер

Потом Интернет вырос и указание www перед сайтом стало ненужным.

Откуда вообще появляется www перед адресом сайта?

Вы обращали внимание, что после запуска сайта он доступен в двух вариантах - как с www, так и без www. Причем это не зависит от применяемой CMS, даже для сайта на простом html префикс www все равно будет существовать.

Это собственно идет от сервера хостинга. Если внимательно посмотреть на структуру записей DNS, Вы увидите там следующее:

Вот, внизу две записи = www IN A / www IN AAAA - это как раз указание серверу добавлять и показывать страницу с www (вариант А - для IPv4, вариант АААА - для IPv6)

Сайты с www - это дубль сайта?

Это одна и та же страница, которая показывается всем под ДВУМЯ разными адресами. Ранее это было большой проблемой для поисковых машин, т.к. это выглядело как ДВА разных сайта. Сейчас в вебмастерах поисковых систем предусмотрено прямое указание со стороны пользователя, что считать основным сайтом и что считать его зеркалом. Далее поисковые машины "склеивают" два сайта в один (если содержимое на этих сайтах совпадает на 100% - а оно совпадает, т.к. физически страница одна).

И в выдаче показывают только основной сайт.

Как выбрать вариант с www или без www

В основном зависит от Вашего желания. Если сайт уже не первый год в интернете - то надо смотреть, на какой вариант сайта больше всего существует внешних ссылок

- если на вариант с www - выбирайте www

- если ссылок больше на вариант http://titovsergei.ru - то выбирайте без www

Если у Вас корпоративный сайт и Вы его активно рекламируете вне интернета - то вариант www.titovsergei.ru более привычен для пользователей (и ссылки потом надо на вариант с www ставить).

Фактически большая часть вебмастеров выбирает вариант без www, как собственно и домен без www. Вариант с www - это дополнительный вариант, который дополнительно генерирует хостинг.

Почему плохо иметь два дубля сайта с www и без www

Роботы конечно умеют "клеить" два сайта в один - но нам-то надо, что сайт рос в поисковой выдаче. А одним из основных критериев полезности сайта с точки зрения поискового робота является наличие ссылок на страницы сайта. И как на чужих сайтах поставят на Вас ссылку - Вы повлиять не можете.

В результате часть внешних ссылок ведет на http://www.titovsergei.ru, а часть на http://titovsergei.ru И получается, что "разные" части Вашего сайта по разному популярны в сети. Нужно помочь немного поисковым роботам, что бы они правильно "склеили" сайт в единое целое и правильно учитывали ссылочную базу.

Как избавиться от дублей сайта с www?

Варианты у нас есть следующие:

1. Простой и неправильный - идем у хостинга в редактирование записей DNS-зоны и убираем записи с www. Вот даже кнопка есть "отключить". Все - больше сервер хостинга не будет делать дубль с www. Но это плохой и неправильный вариант - может уже кто-то ссылку поставил на www, кто-то привык набирать адрес сайта с www.

2. Прямое указание в вебмастерах поисковых систем. И для Яндекса можно еще в файле robots.txt прописать директиву Host с указанием основного сайта.

Для Гугль в панели надо создать записи для двух сайтов с www и без www, подтвердить права на оба сайта, потом выбрать основной сайт и удалить запись со вторым сайтом (который стал зеркалом основного сайта)

3. Редирект формата 301.

Мы указываем серверу, что необходимо все заходы с www переадресовывать на сайт без www. Тут существует масса вариантов, как это можно сделать. Но лучше обратиться в саппорт хостинга, что это сделали они.

- прописать нужное в файле .htaccess - это служебный файл в корне сайта под управлением сервера Apache (для Lunux)

- соответствующие настройки на служебного файла для Windows-систем

- нужный jawa-скрипт

- специальный файл на php

- включить переадресацию средствами хостинга через панель управления

Вариантов много и лучше данный вопрос отдать специалисту. Потом надо обязательно проверить, что переадресация работает на всех страницах сайта, а не только на главной странице.

Все должно быть одинаково для роботов

Да, и что бы не путать бедных роботов поисковых систем - все должно быть одинаково:

- выбрано в вебмастерах главное зеркало http://titovsergei.ru

- в файле sitemap.xml все указано без www

и так далее

- в файле robots.txt все тоже должно быть указано без www

Host: titovsergei.ru

Sitemap: http://titovsergei.ru/sitemap.xml

(да, директива Host - только название домена, а директива Sitemap - полный путь к файлу)

Как узнать о склейке сайтов (Яндекс)

Если сайт Ваш - можно посмотреть в вебмастере Яндекс, до склейки там будет указано два сайта

Если сайт чужой - воспользоваться помощью Яндекса

https://yandex.ru/support/webmaster/yandex-indexing/site-mirrors.xml#main-mirror

Проверить является ли сайт зеркалом можно с помощью формы Сообщить о новом сайте. Если сайт является чьим-либо зеркалом, появится сообщение: «Указанный вами сайт является неглавным зеркалом сайта...».

seotable.ru

что это и как формируется

URL (Uniform Resource Locator) – это индикатор положения ресурса в Интернете. Это адрес страницы сайта, который состоит из домена, пути к странице и наименования ее файла. В 1990 г. Тим Бернерс-Ли, участвовавший в Европейском совете по ядерным исследованиям в Женеве, придумал URL, на тот момент представлявший собой адрес расположения файлов.

Вместе с явными достоинствами URL имеет существенный недостаток. В нем могут использоваться только латинские буквы и некоторые символы в адресе. В противном случае под влиянием особого алгоритма адрес кодируется в шестнадцатеричном представлении, что значительно ущемляет другие языки. Для этого используется международный индикатор сайтов IRI, позволяющий прописывать любые символы Юникода. Длину URL ограничивают только браузеры. Не рекомендуется использовать больше 2048 символов.

Структура URL

Изначально для URL была заложена понятная, удобная и легко расширяемая структура. Традиционная форма представлена следующим образом:

<схема>:[//[<логин>:<пароль>@]<хост>[:<порт>]][/]<URL‐путь>[?<параметры>][#<якорь>]

Каждый идентификатор имеет свое назначение.

Схема – протокол, который будет использоваться для передачи данных. Например, стандартный http, защищенное соединение https, ftp – передача файлов по TCP-сетям и другие.
Логин и пароль – конфиденциальные данные, которые определяют права доступа пользователя к конкретному ресурсу. Не указываются в протоколе http. Например, используются в ftp для авторизации на сервере.
Хост – доменное имя или IP-адрес, на котором расположен сервер, сайт.
Порт – используется в основном для подключения к ftp, а в http не указывается и проставляется автоматически как 80, 8080.
URL-путь – точный адрес к конкретному файлу (странице).
Параметры – отдельные запросы, посылаемые методом GET на сервер с передаваемыми значениями параметров.
Якорь – это уникальная строка на странице, которой заранее присваивается URL-идентификатор со знаком #. При нажатии на ссылку с якорем пользователь попадает сразу в нужный фрагмент текста. Активно используется на форумах, в комментариях, в заголовках для быстрой навигации.

Схемы (протоколы) URL

На 2017 год разработано и введено огромное количество протоколов как для передачи файлов в разных сетях, так и для быстрого взаимодействия с определенными сервисами, программным обеспечением в сети. Схемы делятся на 3 категории.

Общепринятые:

ftp – передача данных через FTP-клиент;
https – протокол с шифрованием;
mailto – запуск почтовой службы и отправка писем;
xmpp – протокол XMPP в Jabber и других клиентах.

Экзотические:

skype – взаимодействие с программой Skype;
ednk – протокол файлообменника eDonkey;
bitcoin – биткоин;
steam – сервис цифровых покупок Steam, быстрое подключение к серверам игр;
tg – мессенджер Telegram.

Протоколы в браузерах:

opera – служебные настройки и страницы браузера Опера;
browser – служебные настройки и страницы браузера от Яндекса;
chrome – служебные настройки и страницы Google Chrome.

Мы перечислили лишь основные примеры протоколов URL для каждой категории, но на самом деле их значительно больше.

Кодирование URL

Для кодирования адресов используется набор символов US-ASCII, но его ограничение имеет существенные недостатки. Он предусматривает взаимодействие только с буквами латиницы и некоторыми символами. Для поддержки кириллицы используется перекодировка.

Реализация. Если системе необходимо перекодировать кириллицу в латиницу, преобразование осуществляется в 2 этапа.

Все символы кодируются в формате UTF-8 в определенной последовательности из 2 байтов.
Вся последовательность кодированных байтов записывается в шестнадцатеричной системе исчисления с использованием знака процента (%).

Стандарт IRI. Так как использование символов в URL ограничено только латиницей, это ущемляет права других стран и народов, поэтому данную проблему можно решить с помощью стандарта IRI, который расшифровывается как «международный идентификатор ресурсов». Он был закреплен в 2005 году как альтернатива URL, в котором могут использоваться любые символы и буквы Юникода.

Инициатива PURL

Одна из существенных проблем, которая наблюдается в использовании URL, – это отсутствие какой-либо гибкости. Например, вы выложили информацию в Интернете по определенному адресу, разослали письма друзьям, разместили ссылки на других сайтах, но в какой-то момент поменяли его. В итоге пользователи, которым вы ранее сообщали о рабочем URL, смогут перейти на нужную страницу только в том случае, если корректно настроен редирект.

Технология PURL предназначена для того, чтобы создать общий каталог, где будут храниться все URL. Пользователь обращается к PURL, сервер автоматически находит нужный URL, и система переадресовывает человека по адресу, который ему был нужен. Если же адрес поменяется, то достаточно изменить запись в базе данных PURL.

Виды URL

URL с идентификатором сессий. У адреса может быть отдельный идентификатор SID, который автоматически добавляется при каждом посещении страницы разными пользователями. В основном такие URL используются для массового сбора статистики о посетителях и их поведении для дальнейшего анализа.

Статические URL. Информация на странице постоянна и не меняется. Используются для формирования качественного контента на сайте.

Динамические URL. Генерируют информацию автоматически в зависимости от запросов пользователей. В основном используются в скриптах для фильтрации контента, вывода различных форм поиска и прочих удобств навигации. Поисковые роботы обычно игнорируют такие страницы и не индексируют их.

Формирование ЧПУ

ЧПУ – это тоже пример URL, который переводится как «человекопонятный URL». Используется во многих CMS благодаря встроенным инструментам или дополнительным модулям и плагинам. Приводит вид URL к понятной и логической структуре, например site.ru/content/car.

С помощью ЧПУ легче создавать и отслеживать структуру сайта, изменять URL, вести аналитику в панели веб-мастера. В адресе могут использоваться только латинские буквы и некоторые символы.

wiki.rookee.ru

Что такое URL адрес сайта (страницы) – Что значит (означает) URL адрес

URL (УРЛ, от англ. Uniform Resource Locator ) — указатель размещения сайта в интернете. URL-адрес содержит доменное имя и указание пути к странице, включая название файла этой страницы.

Тим Бернерс-Ли (участник Европейского совета по ядерно-военным проблемам в Женеве) в 1990 году изобрел URL, который на тот период являлся просто адресом размещения файлов в системе.

Наряду с большими достоинствами (доступность навигации в интернете) у URL-адреса страницы есть и недостаток – это работа только с латинскими буквами, цифрами и некоторыми символами. Если требуется использовать, например, кириллицу, то URL должен быть перекодирован специальным способом. Например, URL-адрес страницы http://prozhector.ru/wiki/что-такое-url/ должен быть перекодирован в http://prozhector.ru/wiki/%D1%87%D1%82%D0%BE-%D1%82%D0%B0%D0%BA%D0%BE%D0%B5-url/. Подобное кодирование проходит в два шага: сначала происходит преобразование каждого символа в последовательность из двух байтов, потом каждый байт переписывается в шестнадцатеричной системе.

Как много значит URL-адрес сайта в SEO?

Поисковые системы учитывают вхождения ключевых фраз в URL-адреса. Наибольшее влияние оказывают вхождения в адрес домена и поддоменов, меньшее, но все же весьма значимое значение, играют вхождения в путь до страницы и название файла страницы. В связи с чем, в интернете активно развивается вид заработка, называемый киберсквоттинг. Его суть заключается в регистрации доменных имен по рыночной стоимости с целью последующей перепродажи по завышенной цене.

Яндекс рекомендует делать адреса страниц информативными. Например, http://site.ru/download/prais-list-remont-kvartir.pdf может сказать поисковому роботу, что по данному адресу можно скачать прайс-лист в формате PDF и, скорее всего, эта страница релевантная запросу «прайс-лист на ремонт квартир». Но это не значит, что для качественного продвижения сайта необходимо делать все URL-адреса в виде набора ключевых слов, так как это также может отрицательно сказаться на результатах раскрутки.

Кроме того, поисковые системы могут выделять соответствующий запросу URL-адрес страницы в результатах поиска, что естественным образом повышает кликабельность сниппета в поисковой выдаче. Это в свою очередь дает возможность увеличить трафик и улучшить поведенческие факторы.

prozhector.ru