Red Canary пересмотрела подход к хранению телеметрии EDR: для потока множества небольших записей объектное хранилище S3 оказалось не универсальным ответом. Команда, развивающая Linux-направление Endpoint Detection and Response, сравнила его со ScyllaDB и на практике увидела цену архитектурного решения, которое на схеме выглядит почти очевидным. Для российских команд, строящих SOC, EDR или платформы наблюдаемости, это знакомая развилка: дешёвое хранение данных ещё не означает дешёвую работу с ними.
Историю Red Canary сообщает The New Stack. Компания занимается обнаружением и расследованием угроз, а её Linux EDR генерирует большой объём небольших фрагментов данных. Речь не о редких тяжёлых архивах, которые удобно положить в объектное хранилище и достать при необходимости, а о телеметрии, с которой нужно регулярно работать: принимать, группировать, искать и связывать с другими событиями. Именно на таких нагрузках выбор между S3 и распределённой базой перестаёт быть спором о цене гигабайта.
S3 хорошо известен как надёжный слой для объектов, резервных копий, логов и больших наборов данных. Его сильная сторона — хранить много данных без необходимости заранее держать под них собственный кластер. Но малые объекты меняют экономику и эксплуатационную картину. У каждого обращения есть сетевой запрос, операции чтения и записи, метаданные, сериализация, повторные попытки при сбоях. Если приложение работает не с несколькими крупными файлами, а с огромным числом небольших записей, накладные расходы начинают конкурировать с полезной нагрузкой. Дешёвый байт внезапно сопровождается дорогим количеством операций.
В случае Red Canary проблема важна ещё и потому, что EDR — не архивная система. Телеметрия конечных точек нужна аналитикам и автоматике для расследований: отдельный маленький фрагмент может быть неинтересен сам по себе, но стать критичным после корреляции с процессом, сетью или цепочкой действий на хосте. Поэтому системе требуются предсказуемые записи и чтения по ключам, возможность быстро обслуживать большой поток и не превращать каждую выборку в прогулку по каталогу объектов.
ScyllaDB в этой истории выступает не как «база данных вместо S3 вообще», а как хранилище для другого профиля доступа. Распределённая NoSQL-база рассчитана на высокую параллельность и операции с небольшими записями, если модель данных построена под конкретные запросы. Это принципиальная оговорка: перенос событий в базу сам по себе не исправляет архитектуру. Придётся определить ключи разбиения, границы партиций, сроки хранения, стратегию удаления и набор запросов, которые действительно нужны продукту. Иначе команда просто поменяет один неприятный счёт на другой — за неудачную схему, перегретые партиции или чрезмерное число реплик.
Почему выбор хранилища нельзя свести к цене гигабайта
Для команд, которые собирают логи, метрики, события безопасности или продуктовую телеметрию, кейс Red Canary полезен как напоминание о базовом правиле: оценивать надо путь данных целиком. В расчёт входят не только объём и срок хранения, но и размер записи, частота запросов, задержка, доля повторных чтений, необходимость индексации, стоимость передачи данных и операционная нагрузка. Объектное хранилище часто остаётся разумным слоем для долгого хранения и крупных пакетов. Горячий контур с большим числом мелких событий может потребовать базы, очереди, пакетирования или комбинации этих подходов.
Есть и организационный нюанс. S3 обычно снижает порог входа: инфраструктуру почти не нужно администрировать, а интерфейс понятен большинству разработчиков. ScyllaDB требует дисциплины в моделировании данных и эксплуатации распределённой системы. Поэтому корректный вопрос для CTO или владельца платформы звучит не «что быстрее — S3 или ScyllaDB», а «какой тип данных и какие операции мы пытаемся оптимизировать». Если данные пишутся редко и читаются пакетами, база может быть лишней сложностью. Если поток непрерывный, записи малы, а расследование требует точечных обращений, объектное хранилище может стать узким местом раньше, чем ожидает финансовая модель.
Отдельно этот пример бьёт по привычке называть все машинные события «логами» и отправлять их в один недорогой бакет. У телеметрии безопасности разная ценность: часть нужна для немедленного поиска, часть — для ретроспективного анализа, часть достаточно сохранить ради соответствия политикам хранения. Разделение горячего, тёплого и архивного слоёв помогает не заставлять одну технологию одновременно играть роль базы событий, поискового индекса и холодного архива. В контексте хранения телеметрии EDR такая сегментация обычно важнее модного названия конкретной СУБД.
Урок для платформенных команд
Практический вывод Red Canary не сводится к призыву срочно мигрировать со S3 на ScyllaDB. Он скорее про необходимость измерять реальную нагрузку до того, как формат данных закрепится в десятках сервисов. Команде стоит собрать профиль хотя бы по четырём параметрам: медианный и максимальный размер события, число операций в секунду, типовые запросы к недавним данным и требования к времени ответа. Затем проверить несколько вариантов на характерном объёме, включая стоимость операций и последствия отказов. Особенно полезно заранее проверить пакетную запись: иногда она устраняет заметную часть накладных расходов, не требуя новой базы.
Рынок систем безопасности и наблюдаемости будет только увеличивать этот разрыв. Агент на конечной точке, облачные журналы, контейнеры и автоматические расследования производят всё больше событий, но не делают каждое событие крупнее. Победит не тот стек, который дешевле хранит терабайт, а тот, который честно сопоставляет стоимость хранения с ценой одного полезного запроса. В этом смысле опыт Red Canary — повод пересчитать собственное хранение телеметрии EDR до того, как счёт за операции и задержки в расследованиях начнут объяснять архитектурные решения задним числом.


