интернет-сканер под Linux
Добавлено: 07 сен 2004, 17:17
в программировании я не силен, только немного С и PHP.
мне надо написать программку сканирования интернета, не знаю как точно это можно реализовать. примерно как поисковый робот гугла и яндекса
а вот что она должна делать:
1) брать из MySQL ссылки, то есть адреса сайтов
2) сканировать весь сайт на предмет других ссылок
3) заносить их в базу данных
4) делать некоторую статистику (количество ссылок на ресурс с других серверов, дата.....)
на PHP не напишешь...ограничено время скрипта, да и медленно это работает.
хотелось бы как демон запускать, чтобы постоянно работал.
на трафик плевать (300-400 GB/M), на размер базы тоже, канал хороший - 100MBit
Цель - собрать все интернет адреса :))
a то ни один регистратор их просто так не отдаст ;)
мне надо написать программку сканирования интернета, не знаю как точно это можно реализовать. примерно как поисковый робот гугла и яндекса
а вот что она должна делать:
1) брать из MySQL ссылки, то есть адреса сайтов
2) сканировать весь сайт на предмет других ссылок
3) заносить их в базу данных
4) делать некоторую статистику (количество ссылок на ресурс с других серверов, дата.....)
на PHP не напишешь...ограничено время скрипта, да и медленно это работает.
хотелось бы как демон запускать, чтобы постоянно работал.
на трафик плевать (300-400 GB/M), на размер базы тоже, канал хороший - 100MBit
Цель - собрать все интернет адреса :))
a то ни один регистратор их просто так не отдаст ;)
