ďťż

[php]Crawler teoria

       

Podstrony


telcocafe

Witam.
Muszę napisać crawlera który przeglądałby oferty na gratce i ściągał odpowiednie wg. podanych kryteriów. Niestety nie wiem jak się za bardzo do tego zabrać. Czy moglibyście przynajmniej teoretycznie powiedzieć mniej więcej jak to działa, jakie mechanizmy się do tego wykorzystuje?

Pozdrawiam



Tak na moje kulawe oko, skrypt pobiera odpowiednią witrynę, np. wyrażeniami regularnymi przetwarza źródło by wyciągnąć odpowiednie dane i zapisuje link do wybranych ogłoszeń. Musisz wiedzieć czego chcesz...
A samo wywoływanie kodu "wsadzasz" do zadań CRONa i tyle ;D

PS Przyjęło się mówić po prostu "robot" a nie "crawler". Czy wiedziałeś w ogóle, za co się bierzesz?
Bo coś mi zaleciało komerchą... ;D

@down Dawid-San: no raczej, nie inaczej ;)
@down Bełdzio: ja napisałem "przyjęło się", a nie narzucam jak powinno być ;)
Napisałem jak uważam, w końcu konstytucja mi to zezwala ;d
A ty nie ładnie offtopujesz ;D
Użytkownik DJ_ProG edytował ten post 22 luty 2008, 22:29
Tak wiedziałem, tylko, że zawsze tego typu rzeczy nazywałem crawler :P

a wracając do problemu to z tego co mówisz musiałbym przeanalizować całe źródło kodu przeglądając odpowiednie pola wg. ustalonych kryteriów


PS Przyjęło się mówić po prostu "robot" a nie "crawler". Czy wiedziałeś w ogóle, za co się bierzesz?
Bo coś mi zaleciało komerchą... ;D


a jaka roznica?


Słownik internautów
crawler

robot, pająk




zainteresuj się curlem, preg_match i ogólnie wyrażeniami regularnymi no i całość jak powiedział DJ ProG całość w cron.
Użytkownik someone edytował ten post 24 luty 2008, 22:48
  • zanotowane.pl
  • doc.pisz.pl
  • pdf.pisz.pl
  • nvm.keep.pl

  • Sitedesign by AltusUmbrae.