Индекс (поисковый индекс) – база данных поисковых систем, которая собирается ее ботами.
Индексация – занесение в базу данных информации об интернет-ресурсе. Эта информация включает в себя тексты, ссылки, ключевые слова. В отдельных случаях – изображения. База данных пополняется постоянно, что обуславливает скачки в количестве индексированных страниц.
Существует также понятие ручной и автоматической индексации. Обычно под ней понимают внесением веб-мастером адреса сайта в специальную форму, откуда боты берут информацию о ресурсе. Автоматическая индексация требует времени, так как поисковый робот сам должен найти сайт. Однако, ему можно помочь в поисках, использованием внешних ссылок со страниц, которые уже внесены в индекс.
Существует также возможность обратная: запретить роботам индексировать страницы или сайт. Это делает путем указания страниц в файле robots.txt.