Надежный способ индексации страниц сайта – это создание файла карты сайта sitemap.xml.

В XML-формате файл карты сайта содержит элементы <loc> с адресами страниц сайта, подлежащих индексации поисковыми системами.
 
Однако для анализа карты сайта, также как и для самих пользователей сайта полезно иметь HTML-страницу, представляющую полный список ссылок на индексируемые страницы сайта.
 
Предлагаемое онлайн приложение обеспечивает автоматическую генерацию и визуализацию HTML-зеркала файла sitemap.xml.
 
Есть также возможность скачать HTML карту сайта, конвертированную из XML карты сайта.