Исследование защиты от веб-ботов: влияние защиты на торговые веб-сайты и её взаимосвязь с посещаемостью и релевантностью в поисковой выдаче

Бабарицкий Павел Александрович, Государев Илья Борисович

Данная статья описывает исследование взаимодействия автоматизированных систем сборщиков информации и противопоставленных им методов и средств защит от них. Охватывает работу как с автоматическими сборщиками, на базе языка программирования Python, а также рассматривает примеры различных средств защит, с которыми могут столкнутся веб-боты. Включает в себя результаты сбора информации и статистические данные о выборки сегмента интернет-магазинов, такие как посещаемость, релевантность и наличие защиты. На основе вышеупомянутых данных, был сформирован прогноз о вероятности наличия защиты в зависимости от популярности сайта или положения его в поисковой системе.

Ключевые слова:web-scrapping; web-crawler; security; web-bots, web-parsing.