Pinterest представил систему нормализации URL, названную MIQPS, которая значительно сокращает дублирование контента. Это важно, поскольку позволяет упростить обработку данных на миллионов страниц и снизить затраты на инфраструктуру.
Контекст появления MIQPS
Система MIQPS разработана для оптимизации обработки контента в огромном потоке данных, поступающем на Pinterest. Платформа обрабатывает URL-адреса из различных источников, таких как сайты продавцов и издателей, где часто одни и те же продукты имеют разные параметры запроса, влияющие на идентификацию страниц.
Ранее традиционные методы нормализации, основанные на ручных списках разрешённых или запрещённых URL, не обеспечивали достаточной гибкости для работы с большим количеством доменов и их разнообразными структурами. MIQPS заменяет эти методы более интеллектуальным подходом, использующим анализ данных для определения важности параметров URL.
Как работает MIQPS
MIQPS оценивает каждую часть URL-адреса на основании её влияния на контент страницы. Если удаление параметра не меняет отображаемое содержимое, он считается незначимым и удаляется. Система также учитывает случаи, когда контент меняется, и уважает их, сохраняя важные параметры.
В процессе работы MIQPS собирает большие корпуса URL-адресов, группируя их по шаблонам параметров и проводя тесты на рендеринг страниц. Это позволяет системе формировать уникальный «отпечаток» контента, что улучшает точность нормализации без необходимости полагаться на параметрические метки, которые часто бывают ненадёжными.
Что это значит для разработчиков и бизнеса
Для разработчиков и владельцев сайтов это означает, что Pinterest существенно снизит затраты на обработку дублирующегося контента. Уменьшение отдельных запросов на рендеринг и индексацию приводит к экономии ресурсов, что особенно важно в условиях стабильного роста интернет-контента.
Если вы работаете с большими объемами данных и URL в своем проекте, рассмотрите возможность внедрения аналогичных подходов для оптимизации обработки информации и снижения издержек.
Следующим шагом для Pinterest станет дальнейшее тестирование и адаптация MIQPS, чтобы убедиться в его эффективности в ещё более разнообразных сценариях обработки данных.