Что такое краулинговый бюджет и зачем его оптимизировать? «Промотехника»
Проследить за тем, какие страницы посещались краулерами, можно с помощью логов сервера. По умолчанию на большинстве хостингов эта опция включена. Логи записываются в специальный файл – access.log, который можно найти в папке logs по протоколу FTP. На относительно маленьком проекте …
Что такое краулинговый бюджет и зачем его оптимизировать? «Промотехника» Read more »