Надо собирать ссылки со страниц - как активные так и упоминания в тексте. Также желательно, чтобы скрипт собирал email и желательно, чтобы в отдельный файл.
Необходимо, чтобы была возможность обрабатывать за один запуск скрипта не менее 100 тысяч урлов (можно по кругу, но главное без человеческого вмешательства) и чтобы обработка такого кол-ва урлов на среднем сервере занимала не более 2-х суток.
Если будет предусмотрено удаление дубликатов урлов (email) хотя бы по полному совпадению строки - будет вообще волшебно.
Предложения со сроками и конкретными ценами пожалуйста в личку. Возможно сотрудничество на постоянной основе.