Метод Local-First AI Inference от компании Obinna Iheanachor сократил затраты на использование Azure OpenAI на 75% в процессе обработки документов. Это значительное улучшение позволит компаниям существенно сэкономить, а также повысить эффективность работы с данными.
Что такое Local-First AI Inference
Метод Local-First AI Inference предполагает, что 70-80% документов обрабатываются локально без использования API, что приводит к значительно меньшим затратам. Это означает, что компании могут обрабатывать структурированные документы, такие как инвойсы или чертежи, гораздо быстрее и дешевле, сохраняя при этом высокую точность.
Стандартный метод, при котором каждый документ отправляется на облачный AI-эндоинт, приводит к ненужным затратам и высоким временным затратам на обработку. В результате использования новой архитектуры, компании могут сократить время обработки документов до 45 минут вместо 100, а затраты — до 10-15 долларов с 47 долларов.
Технические детали и преимущества
Система внедряет трёхуровневую архитектуру: на первом уровне производится локальная детерминированная обработка, на втором — обращение к облачному AI, а на третьем — ручная проверка для минимизации ошибок. Такой подход позволяет снизить уровень неявных ошибок при обработке, достигая точности до 98% по сравнению с 89% ранее.
Это стало возможным благодаря множественным итерациям, созданным для исправления конкретных ошибок. Комбинированная система оценки критериев, основанная на различных факторах, позволяет избежать ложных положительных результатов, что критически важно для обеспечения точности.
Почему это важно для бизнеса
Для российских компаний, работающих с объемными данными, внедрение Local-First AI может привести к экономии как времени, так и средств. Поскольку большинство компаний сталкивается с проблемами обработки большого количества документов, этот метод предлагает эффективное решение. Таким образом, снижение затрат на API вызовет интерес у многих IT-структур, стремящихся оптимизировать свои расходы.
В дальнейшем ожидается, что подобные архитектуры будут популяризироваться среди разработчиков. Прогнозируется, что в ближайшие годы будет наблюдаться рост интереса к локальным методам обработки данных в контексте растущей потребности в оптимизации затрат.