Что такое web-crawler?

Web-crawler - это поисковой робот, анализирующий контент веб-страницы.

Используется при подключении технологии Brand Safety. В процессе проведения семантического анализа сортирует веб-площадки в зависимости от настроек рекламной кампании и передает качественные и "чистые" места размещения в интерфейс Trading Desk, a бренду - уверенность в его репутационной безопасности.