Я как то ставил скрипт поисковика, база его была на mysql, после обработки 15 сайтов, база занимала 2.5 гигабайтов))
Теперь оцените а сколько вам потребуется серверов для обработки и хранения информации?))
Кстати, как-то в 2008 году, под новый год, немного притормаживал яндекс, а все дело в том...