Французька булка

Google Sitemaps вже в принципі давно не тільки Google (ще є Yahoo sitemaps і інші), але як відомо від гугла зараз переважно все починається, тому і стара назва залишилась.

Як відомо, ще в листопаді минулого року Yahoo, Microsoft i Google сіли разом і домовились про єдиний для всіх пошуковиків стандарт мап сайтів і виставили специфікацію на sitemaps.org. Хто взагалі не здогадується про що йде мова - то я поясню кількома словами.

Пошуковики індексують лише те - що знаходять самі. Тобто, якщо якась частина вашого сайту немає лінків ззовні або в середині вашого ресурсу - то вона відповідно і не з’явиться в кеші пошуковика. Чому таке може статись? Може бути багато причин, основна - це неправильна структура лінків, може бути що частина сайту відкривається через javascript popup вікно (як відомо на таку сторінку search engine bot не зайде), занадто складний лінк з багатьма параметрами, або навіть кажуть, що гугл не переварює сторінки з ?id=4 в url (звичайно я не про число 4 написав).

Але не переживайте, не все втрачено. Якщо у вас і є така проблема, то є достатньо просте рішення - написати xml файл мапу вашого сайту. А краще його генерувати раз в кілька днів якимось скриптом. Я скажу навіть більше - я б нічого сам не писав, якби користувався якимось халявним CMS або блогом типу мого WordPress - бо все давно написано до нас, і нічого самому видумувати не треба. Як виглядає такий файл - можете побачити на моєму сервері.

Вас напевно цікавить - “де ж обіцяний прикол?” :).. Тоді розказую.

Знову ж таки, вже давно, як тільки про sitemaps написали в новинах - наша компанія рішила не відставати, а йти на випередження і згенерувати xml лінків всіх сторінок на сайті. Треба - то треба )). За пару днів було написано скрипти, протестовано, запущено крони, пінганули yahoo з google і почали чекати… ) Як завжди будь-яка зміна на клієнтській стороні відбивається на гуглі приблизно через 2 тижні. Отже через два тижні мій бос страшенно зрадів - бо кількість проіндексованих сторінок в гуглі пригнула з 20,000 до 40,000 а в яху з 35000 до 60000. Короче радості повні кишені.. ). Нас стало дуже багато, більше сторінок, більше результатів, клієнтів і бабла відповідно.

Я вже почав собі уявляти нову, красиву зарплату і мій прикольний офіс… Ехх.. ( Як через два тижні (знову), гугл очухався і як БАХНЕ по голові.. За тиждень ми втрачаємо 30000 результатів… За ще один тиждень ми взагалі ніде. Нас є АЖ 950 (це я про сторінки).. Короче директор в шоці )).. Яху не так сильно трухануло, але кинуло також назад до 30000. Тут вже ніби нічого було робити, просто чекати, що буде далі? але ви спитаєте, що ще може бути гірше? :). Повірте мені - може! Наприклад може бути таке - коли ми почали шукати в гуглі назву нашої компанії = то нашого сайту взагалі не було. Я вже нічого не кажу про ключові слова.

Вже пізніше нам пояснили з гугла, що для їхньої системи це виглядало так - що вони намацали собі 20000 сторінок і тішились, а коли кількість лінків зросла в два рази - то вони подумали, що тут щось не то. Може то doorway pages? Бо для них це виглядало занадто, а простіше було нас кинути ніж дописувати щось в себе. Так і рішили ).. Хоча, це лише одна очевидна причина, інша - це наявність, хоча і невелика кількість сторінок з duplicate content (це вже ми потім вияснили).

Так що ж робити з sitemaps? Нічого - користуватись ).. Просто радять не шугати гугл і давати йому хавати потрошки і збільшувати дозу на протязі якогось часу. Тоді все має бути впорядку.

Trackback URI | Comments RSS