Bagaimana Membuat Spider??

Kemampuan Mesin Pencari (Search Engine) yang dapat mendeteksi URL sebuah website bahkan lebih dalam waktu yang bersamaan, tentunya salah satu syarat mutlak sehingga benar-benar bisa dikatakan search engine, sekelas google, yahoo, msn, dll.

Pada dasarnya search engine memiliki prinsip kerja yang sama, yakni memiliki sebuah teknologi yang selalu aktif dan bekerja menelusuri link yang saling berhubungan. teknologi ini biasa disebut sebagai spider.

Untuk membuat spider sebenarnya sangat gampang, bagi yang pake linux bisa menggunakan Cronjobs sedangkan untuk windows pake windows schedullers.
Informasi lengkapnya bisa didapat http://www.astahost.com/info.php/Cron-Jobs-Tutorial_t2324.html

jadi cronjobs/ windows scheduller akan menjalankan suatu perintah/ script yang telah ditentukan.