Недавно разработчик KazKozDev представил практическое руководство по созданию клона Perplexity для локальных языковых моделей всего на 50 строках Python. Это обновление позволяет вашим моделям искать информацию в интернете, фільтровать результаты и генерировать структурированные запросы с сносками. Поскольку локальные LLM ограничены доступом к интернету, новый пайплайн поможет значительно расширить их функциональность.
Что нового в пайплайне
По сути, разработан пайплайн, который выполняет поиск по интернету (используя Bing и DuckDuckGo), обрабатывает ответы, фильтрует их и предоставляет структурированные эти для LLM. В результате, вы получаете возможность задавать вопросы, получать актуальные ответы и строить запросы с ссылками на первоисточники — как если бы работали с Perplexity, но без необходимости использовать сторонние API.
Установка и настройка
Настройка пайплайна включает установку нескольких уровней: минимальный функционал для получения ответов, улучшенная обработка этих через trafilatura и семантическая сортировка. Процесс не требует API ключей, что существенно упрощает доступность для пользователей. Это может быть особенно полезно для разработчиков и исследователей, работающих с локальными решениями ИИ, стремящихся к независимости от облачных сервисов.
Работа с пайплайном
После установки вы можете легко задавать вопросы, используя простой интерфейс. Например, для получения новостей можно ввести команду, и пайплайн выполнит все необходимые шаги: от поиска до обработки результатов. Это позволяет быстро получать информацию из актуальных источников без лишних затрат времени. Подробное руководство доступно на GitHub, где кейс использования каждого функционала объясняется детально.
Практическое значение
Для разработчиков и исследователей этот инструмент представляет огромную ценность, позволив улучшить доступность и функциональность локальных LLM. Возможность интегрировать поиск в интернет значительно повышает их использование в практических задачах, таких как извлечение этих или создание специализированных ответов на запросы.
Следующий шаг — возможно, расширение функционала пайплайна с добавлением новых источников этих и улучшением методов обработки информации, чтобы обеспечить пользователей ещё более эффективными решениями.