Takelis robotams jūsų svetainėje

Povandeninis droidas

Tie, kas skeptiškai vertino ankstesnį nežinau.lt rašinuką apie Sitemaps failo ir tarnybos naudą, vis dėlto klydo. Paieškos rezultatai akivaizdžiai pagerėjo, o tinklaraštis užsidirbo papildomą tašką Page Rank sistemoje. Dabar turime reitingą (4/10), kas neseniai pradėtam interneto provincijos tinklaraštėliui yra nemažai (tiek pat turi alfa.lt portalas).

Kitas žingsnis, kurį pataria padaryti puikus tinklaraštis gHacks – failo robots.txt optimizavimas. Kas iš to? Na, panašiai kaip sitemaps XML failas, jis padeda paieškos sistemoms susivokti, kur jūsų svetainėje yra prasminga informacija, verta indeksavimo ir įtraukimo į paieškos sistemos duomenų bazę, o kas tėra vidiniai ar tarnybiniai failai. Standartinis failas robots.txt (ar tokio nebuvimas) nurodo indeksuoti absoliučiai viską, kas viešai prieinama.

Atrodytų, ko gi daugiau reikia? Tačiau tikslesnis takelis paieškos robotams padeda nepasiklysti ir efektyviau suindeksuoti turinį, „neatskiedžiant“ jo bereikalinga informacija. gHacks siūlo tokį robot.txt failą WordPress tinklaraščių autoriams:

robots.txt

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /comments/feed/
Disallow: /page/
Disallow: /date/
Disallow: /comments/

User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*?*
Disallow: /*?

# This is the ad bot for google
User-agent: Mediapartners-Google*

# Allow Everything
Allow: /*

Kaip matote, jis labiau riboja nei skatina, bet visa reikiama informacija iš tikrųjų yra suindeksuojama. Beje, Google turi savo įrankį tikrinti robots.txt failo efektyvumą. Labai svarbu, kad jį galima išbandyti „teoriškai“ – dar prieš redaguojant tikrą failą, nes robots.txt failo pakeitimai pradeda veikti ne taip jau greitai – per savaitę kitą. Jums tereikia būti užregistravus savo svetainė Google Webmaster’s svetainėje ir apsilankyti valdymo tinklapyje. Jei diegėte Sitemaps, tai beveik visas darbas jau padarytas.

Belieka kairėje išsirinkti robots.txt failo analizę, į viršutinį laukelį surašyti komandas robotams, o į apatinį – straipsnių ir kitos informacijos iš svetainės adresus. Išanalizavę visus variantus ir pasirinkę tinkamiausią, tekstą iš viršutinio laukelio išsaugokite teksto faile robots.txt ir įkelkite jį tiesiogiai į savo svetainės viešo HTML resurso pagrindinį aplanką. Negarantuoju, kad ištiks kokia nors labai didelė sėkmė, bet aš mėgstu sakyti: „padėkite Google, ir ji padės jums“ :)

Įrašo tema: internetas, patarimai. Pasižymėkite nuorodą. Parašykite komentarą ar įdėkite citatą:Nuorodos URL.

Komentarų (11)

  1. Parašytas 2007.5.22 (16:14) | Nuoroda

    pasirodo, kad po paskutinio atnaujinimo netyčia ištryniau robots.txt dėl to nerodydavo ir Adsense reklamos. Ačiū už gerą info priminimą :)

  2. vienastoks
    Parašytas 2007.5.22 (16:27) | Nuoroda

    Va kaip. :) Gali būti ir netikėtos naudos!

  3. Parašytas 2007.5.22 (20:09) | Nuoroda

    Lankytojų pagausėjimą galima paaiškinti ir tuom, kad daugiau tinklapių įsidėjo nuorodą į nezinau.lt, kas automatiškai kelia pagerank’ą, o nuo pagerank’o priklauso pozicija paieškos rezultatuose… Jeigu google viską teisingai indeksuoja, tai sitemaps’ai neypatingai daug ir tegali padėti…

    Kas man nėra aišku, tai kodėl google neindeksuoja postuose minimų nuorodų, pvz. blogoramoje minimų blogų, t.y. nors ir neuždėtas rel=“nofollow“, google nuorodas vistiek kažkaip pražiopso… Google Webmaster Tools rodo juk external links, t.y., nuorodas iš kitų svetainių… iš nezinau.lt ten nei vienos nėra…

  4. vienastoks
    Parašytas 2007.5.22 (20:32) | Nuoroda

    Į nežinau.lt irgi kažkodėl toli gražu ne visos nuorodos rodomos. Kol kas nesuprantu to, bet dar nelabai ir gilinausi. Gal su sitemaps ir sutapimas, bet kol kas aš dar tikiu, kad SEO veiksmai padeda svetainei. Tik jokiais būdais jų negalima persūdyti, nes šiandien vėl skaičiau, kaip Google „užtrumpino“ Adsense sukčius.

  5. Parašytas 2007.5.22 (21:27) | Nuoroda

    Hmm. Mano PR yra 3. Ar jau pradėti pūstis, ar tai yra normalu? Gal pasidalinkit ir kiti savo PR. JĮ galite pasitikrinti čia: http://pr.blogflux.com/

  6. vienastoks
    Parašytas 2007.5.22 (22:19) | Nuoroda

    Manau, kad normalu ir gerai. Kaip rašė Tamole, šis dalykas daug priklauso nuo kolegų nuorodų į tavo tinklaraštį. Matyt jų yra nemažai. Technorati gali visas suskaičiuoti. :)

  7. Parašytas 2007.5.22 (23:20) | Nuoroda

    Na, aš apie SEO nusimanau nemažai (bent jau aš taip manau, juk iš to duoną valgau) ir žinau, kad linkai tai dar ne viskas. Bet klausimas šiuo atveju buvo ar normalu tokio dydžio blogui turėti PR 3 :) Nes aš kaip ir neinvestavau laiko į PR kėlimą, o linkų į mano tinklapį yra tikrai daug (vien komentarų parašau šimtus). Bet va klientams sugebam PR pakelt per porą punktų gan greitai, net nenaudodami linkinimo sistemos.

    Reiks matyt pasidomėt pačiam kaip ten su tais blogais yra :)

  8. Parašytas 2007.5.23 (0:59) | Nuoroda

    Vidutiniai blogai dažnai pakyla iki 4 (mano tame tarpe irgi)… Komentarų rašymas nevisada naudos duoda, nes pvz. nezinau.lt komentaruose naudojamas rel=“nofollow“ atributas, dėl kurio google į tokius komentarus nekreipia dėmesio… Mano manymu rel=“nofollow“ atributas yra blogis, nes jis sukurtas buvo tam, kad spamerių įdėtos nuorodos būtų ignoruojamos google, tačiau juk spaminių komentarų ir taip neturėtų būti, nes tam yra akismet ir kiti pluginai, o jei jie spamo neįveikia, tai pats autorius galiausiai ištrins… Taip pat šis atributas kartais mažina motyvaciją rašyt išvis komentarą, mat net ir tokios smulkmenos kaip nuorodos atgal į savo blogą jis negaus…

    Realiai tai viso PageRanko esmė – nuorodos, tačiau nuoroda nuorodai nelygi… Nuoroda iš mažensį PR turinčio puslapio mažiau PR kelia nei nuoroda iš didesnį PR turinčio puslapio…

    O pvz. labai labai daug nuorodų iš betkokių puslapių taip pat labai kelia PR… pvz. wordpress.org… PR9 tik todėl, kad tūkstančiai blogų apačioje turi nuorodą į wordpress.org puslapį… Argi ne šaunu? :)

  9. Parašytas 2007.5.24 (0:13) | Nuoroda

    Na paskutini komentara as truputi papildysiu. Remiantis Google PR skaiciavimo metodika, svetaines PR skaiciuojamas pagal nurodanciu svetainiu PR dydi ir svetainiu skaiciu. T.y. , jei tas, kuris nurodo i tavo svetaine turi labai maza PR, tai tavo PR irgi bus mazas (imama mazdaug 0.85 nurodancios svetaines PR vertes). Taciau nurodanciu svetainiu kiekis tikrai pakelia tavo PR… Is cia ir tokiu projektu kaip wordpress ar phpbb aukstas PR.

    Labai detalus straipsnis su pavyzdziais cia/

    P.S. Reiks isidet nezinau.lt nuoroda, gal ir mano PR prades judet i virsu… :P

  10. Parašytas 2009.4.20 (20:04) | Nuoroda

    Lankytojų pagausėjimą galima paaiškinti ir tuom, kad daugiau tinklapių įsidėjo nuorodą į nezinau.lt, kas automatiškai kelia pagerank'ą, o nuo pagerank'o priklauso pozicija paieškos rezultatuose… Jeigu google viską teisingai indeksuoja, tai sitemaps'ai neypatingai daug ir tegali padėti…

    Kas man nėra aišku, tai kodėl google neindeksuoja postuose minimų nuorodų, pvz. blogoramoje minimų blogų, t.y. nors ir neuždėtas rel=“nofollow“, google nuorodas vistiek kažkaip pražiopso… Google Webmaster Tools rodo juk external links, t.y., nuorodas iš kitų svetainių… iš nezinau.lt ten nei vienos nėra…

  11. arturas
    Parašytas 2009.7.24 (18:27) | Nuoroda

    Sveiki,norejau paklausti gal zinot kodel svetaines google pajieska nukrito beveik iki nulio kaip pries tai buva normaliai , seo ir html svetaine turi.aciu

Parašykite komentarą

Jūsų adresas niekada nebus skelbiamas ar perduotas kitiems. Privalomi laukeliai pažymėti *

*
*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>