Agregatorių problema

rburner30

Prieš savaitę-dvi RSS srautų agregatorius ReadBurner pradėjo labai smarkiai žagsėti, o užvakar apskritai nustojo tiekti prenumeratą. Svetainėje kol kas yra tik atsiprašymo tekstas ir pažadas „kada nors®“ problemą išspręsti. Visiems, kas aktyviai skaito lietuviškus tinklaraščius, situacija labai panaši į šią:

blogeriainet30

Aš neklausiau Blogeriai.net prižiūrėtojo Arvydo, ar problemos, su kuriomis susidūrė jo sukurta tarnyba, yra analogiškos ReadBurner problemoms, bet spėju, kad panašumo yra. Pati pagrindinė jų – milžiniški serverio resursai, kurių reikia surinkti šimtus ar tūkstančius RSS srautų, apdoroti juos ir pateikti skaitytojui daugmaž vieningoje sąsajoje, ir dar nevėluojant. Ši problema skaidosi į kelias smulkesnes: 1) kadangi negali pasitikėti, jog visi srautai laiku praneš apie savo atnaujinimus, reikia sukurti juos surenkanti mechanizmą, kuris turi suderinti du sunkiai suderinamus dalykus – kuo greitesnę reakciją į paskelbtą įrašą ir apdorojamo srauto paskirstymą, kad serveris atlaikytų; 2) turėti saugiklius, filtrus ir konvertavimo priemones, kurios apsaugotų nuo netikėtų klaidų RSS XML ar tiesiog neapdairiai į jį įkeltų maksimalios fotoaparato gebos paveikslėlių (pasitaiko, ir ne taip retai, patikėkite!). Nepavydžiu tam agregatoriui, kuris turi apdoroti Smashing Magazine ar Dark Roasting Blend srautus su šimtais iliustracijų. Net nežinau.lt su beveik kiekvienu iliustruotu įrašu gali būti skausmas. 3) jei tarnyba suteikia papildomo apdorojimo pagal vartotojo poreikius galimybę (ReadBurner), balsavimo (Blogeriai.net) ar pastabų rašymo bei dalinimosi (Google Reader), tai viskas tampa dar sudėtingiau.

Agregatorių užmojis titaniškas. Mes čia Lietuvoje turim gal 500-600 įdomių ir vertų skaityti RSS srautų. O įsivaizduokite, kiek jų įteka į Google Reader, Bloglines ar NewsGator? Nebesistebiu, kad net Reader su Google resursų užnugariu yra lėtesnis už sraigę. Nežinia, iš kur ras resursų atsigauti ReadBurner, nes tarnyba buvo nemokama. Sunku spėti, ar atsigaus Blogeriai.net ir kaip sklandžiai veiks naujai kuriamas Blogosfera.lt. Aš bijau net, kad Google nubaus Kačių lopšiusVisi blogai iniciatyvą. Nevaikiški tai užmojai. Viena paguoda – kad dabar visi, kas netingi, rašo tinklaraščių apžvalgas. Per pastarąją parą perskaičiau bent keturias lietuviškas (be Blogoramos)…

This entry was posted in internetas and tagged , , , , . Bookmark the permalink. Both comments and trackbacks are currently closed.

8 Comments

  1. Posted 2009.1.30 at 15:45 | Permalink

    Tarkim FeedBurner veluoja dar ir kaip, RSS sraute mano nauji įrašai kartais atsiranda po geros valandos.

  2. Posted 2009.1.30 at 15:54 | Permalink

    Aišku, kad visiblogai ne mano kompetencijai:) Vis dėlto tas RSS srautas, kurį iš esmės „prižiūri“ pati blogger sistema, yra labiau jos pačios testas nei mano užmojai. Tarkime, kad tai blogroll funkcionalumas, bet esantis ne kokio nors tinklaraščio rubrikoje,t.y. viduje, o atskirame tinklaraštyje, t.y. išorėje.

  3. Posted 2009.1.30 at 16:14 | Permalink

    Labai įdomu paskaityti kaip tai atrodo ne profesionalo akimis. Beje, ar mokėtum už tokią paslaugą?

    • vienastoks
      Posted 2009.1.30 at 16:34 | Permalink

      @Dalius

      Ne, nemokėčiau, nes prenumeruoju visus srautus atskirai. ReadBurner, Regator, Digg ir t.t. periodiškai užsiprenumeruoju, kad rasčiau naujų įdomių šaltinių. Mokėčiau už Google Reader, FeedDemon ar pan., jei šios tarnybos/programos patikimai ir sklandžiai veiktų. FeedDemon ir autoriui siūliau, kad verčiau programą mokamą padarytų, nei reklamas dėtų, bet jis bijo, kad programą vistiek nulauš.

  4. Posted 2009.1.30 at 17:17 | Permalink

    Nereik čia burbulo pūst, o tai vienas juokas net serveryje sumažint paveiksliukus.. bet jie net nemažina, o tiesiog pakeičia html parametrus, kad būtų scaled.. Kodėl tarkim flicrk moka sumažint paveiksliukus ir niekad nestringa? :) O dar palygink su youtube, kur reik kiekvieną video konvertuoti, kai standartinis 5min visą CPU suvalgo kokiai 30s ar 1min, tai tų video šimtais kelia, niekad vienas servas nesutvarkytų, bet pastatyta šimtai ar tūkstančiai servų, ir nieks neverkia. :) Kaip feedburner, google ir net one.lt keliasdešimt servų turi. :)

  5. Posted 2009.1.30 at 17:32 | Permalink

    Su blogeriai.net problema ta, kad agregavimo platforma buvo naudojama WordPress, kuri yra visiškai tam nepritaikyta. O šiaip bet kokiam populiarėjančiam projektui atsiranda problemos su resursais. Tada tenka arba optimizuoti kodą, arba paskirti daugiau resursų.

  6. Posted 2009.1.30 at 17:44 | Permalink

    Arvydas: ash jau tau pasakojau kaip tai galima realizuoti tik reikia suprogramuot :D

  7. Posted 2009.1.30 at 20:53 | Permalink

    Vaidai, aš jau suprogramavau, o resursų panašu, kad turėtų užtekt ne vienam šimtui blogų. Kol kas testuojant juda labai greitai… :)