Cribl көмегімен телеметрия көлемін қысқарту

2022 жылы Getty Images компаниясының инженерлер тобы масштабтау мәселесімен кездескен. Олардың негізгі лог жүйесі күн сайын бірнеше терабайт телеметрияны қабылдап отырды, ал жылдық көлемнің болжамды өсуі 30%-ға жетті. Мұндай динамиканы сақтау компанияға миллиондаған долларды қажет ететін қосымша шығындарды төндірді.

Жағдайды әртүрлі конфигурациялар, мөлдір емес сүзу тетіктері және массивтерді жүктеместен бұрын алдын ала қарау мүмкіндігінің жоқтығы қиындатты. Жаңа дереккөзді қосу болжамды ойынға айналды, ал барлық ақпарат көлемін «сақтық үшін» сақтау бизнестің тиімді емес тәсілі болды.

Бұл инфрақұрылымдық мәселені шешу үшін мамандар Cribl платформасын қолдану арқылы деректермен жұмыс істеу парадигмасын өзгертті. Жаңа шешім телеметрияны транзит кезінде тікелей өңдеуге мүмкіндік берді — жүйе ақпарат ағындарын индекстеу кезеңіне дейін автоматты түрде тазартады, сүзеді, қайта құрылымдайды және бағыттайды.

Осы тәсілдің арқасында сәулетшілер бұрын-соңды болмаған көрінушілікті және икемділікті алды. Платформа деректеріне шын мәнінде иелік ету мүмкіндіктерін ашқан құралға айналды. Ақпарат дәл қажетті жерде қажетті форматта жеткізіледі, бұл қауіпсіздік топтарына арнайы ағындармен жұмыс істеуге мүмкіндік береді және негізгі SIEM жүйесін жүктемейді.

Терең техникалық трансформация нақты инженерлік құрылымды енгізуді талап етті. Инженерлер дереккөздер мен конвейерлерді атаудың қатаң ережелерін енгізді, сондай-ақ пайдалы жүктемеге метадеректерді қосуға кірісті. Мысалы, дереккөзді көрсету үшін арнайы өріс қателіктерді одан әрі анықтау үшін өте маңызды болды. Сонымен бірге, Cribl Stream шешімі әртүрлі жұмыс жүктемелерін және арнайы use case оқиғаларын оқшаулауға мүмкіндік берді.

Мұндай инфрақұрылымдық тәуелсіздік бір бөлімдегі конфигурация қатесі немесе жергілікті белсенділіктің ұлғаюы бүкіл корпоративтік желінің тұрақтылығына әсер етпейтінін қамтамасыз етеді. Өндірістік ортаға қауіп төндірмей архитектураны қауіпсіз тестілеу үшін devnull-ге бағыттау және жасырын үлгілер жасау құралдары белсенді қолданылады. Қосымша артықшылығы — жасанды интеллекттің интеграциясы: Cribl Copilot конвейерлерді тез құруға және іздеу KQL-сұрауларын генерациялауға мүмкіндік береді.

Оптимизацияның ең айқын жетістігі — кіріс логтарының көлемін дәл екі есеге қысқарту болды. Сондай-ақ, компанияға бірнеше жыл қатарынан бұл көрсеткішті тұрақты деңгейде ұстап тұруға қол жеткізу маңызды болып табылады, бизнестің үнемі экспансивті өсуіне қарамастан. Негізгі үнемдеу индекаторлар кластарына қойылатын талаптардың төмендеуінен туындады. Алайда процестік өзгерістер негіз болды, атап айтқанда, телеметрия жинау сұраған кезде міндетті нысанды енгізу. Бұл ақпарат иелері интеграция алдында көптеген шешуші сұрақтарға жауап беруге мәжбүр етеді: қандай деректер түрі жүктеледі, күтілетін көлемдер қандай, сақтау мерзімі мен қол жеткізу саясаты қандай. Бұл логтаудың орынды болуына өзіндік жауапкершілікті процессті бастаушыға жүктейді, қажетсіз қалдықтардың бақылаусыз жиналуын болдырмайды.

Әзірлеушілер мен байланысты бөлімшелердің әдеттерін өзгерту программалық жасақтаманы тікелей баптаудан әлдеқайда күрделі тапсырма болып шықты. Сарапшылар мұндай масштабты жобаларды табысты орындау ішкі серіктестердің ауыр мәселелерін шешуге бағытталған болуы маңызды екенін айтады, жай функционалдық мүмкіндіктерді көрсету емес. Мониторинг мамандары желіні прогрессивті көшу принципі бойынша дамытуы тиіс, басқа командаларға лицензиондық артық шығындарды немесе инфрақұрылымдағы оқиғалардың көру мүмкіндігін шешуді ұсына отырып. Мұндай парадигмада операциялық бөлім сенімді шешімдер провайдеріне айналады, оның жұмысы әдеттегі режимінде тұрақты қалады.

Қорытындылай келе, деректер ағындарын басқарудың тиімділігі проактивті маршруттау және логтау тәртібін қатаң сақтаудың үйлесімін қажет етеді. Тазартылмаған ақпараттың петабайттарын сақтау енді ақталған қадам емес: компанияларға телеметрияны индекстеуге дейін құрылымдау құралдары қажет. Бұл қаржылық ресурстарды босатып, қауіпсіздік аналитиктерінің жұмысын тек өзекті қауіптерге бағыттауға мүмкіндік береді.