如果流應(yīng)用程序開始在實時處理數(shù)據(jù)方面落后，那么根本原因可能很難在復(fù)雜的應(yīng)用程序和基礎(chǔ)架構(gòu)堆棧中手動找到。Unravel數(shù)據(jù)系統(tǒng)聯(lián)合創(chuàng)始人/ CTO Shivnath Babu和杜克大學(xué)計算機科學(xué)兼職教授Shivnath Babu在本文中了解更多信息。

大多數(shù)個性化的實時流應(yīng)用程序可能會在Kafka，Spark，Kudu，F(xiàn)link或HBase上運行，以管理現(xiàn)代云交付服務(wù)對大量大數(shù)據(jù)的需求。要全天候提供這些信息，需要大量易于訪問的數(shù)據(jù)，這些數(shù)據(jù)通常來自連接的傳感器，提供諸如客戶銷售，行駛里程，GPS，濕度，溫度和空氣質(zhì)量等數(shù)據(jù)。許多企業(yè)都在努力做到這一點正確，數(shù)據(jù)管道效率低下，破壞了應(yīng)用驅(qū)動的服務(wù)即時滿足消費者所依賴的基礎(chǔ)。

這種錯誤的基礎(chǔ)導(dǎo)致應(yīng)用程序在處理方面滯后，從而破壞了整個業(yè)務(wù)功能，因為應(yīng)用程序依賴于應(yīng)用程序內(nèi)部和外部提供服務(wù)。

如果流應(yīng)用程序開始在實時處理數(shù)據(jù)方面落后，那么根本原因可能很難在復(fù)雜的應(yīng)用程序和基礎(chǔ)架構(gòu)堆棧中手動找到。考慮到交付復(fù)雜的企業(yè)分析過程時需要依靠云，因此基于機器學(xué)習(xí)和AI的方法是一種保證流應(yīng)用程序具有更好的性能，可預(yù)測性和可靠性的方法。此處的進(jìn)步將統(tǒng)計學(xué)習(xí)應(yīng)用于流應(yīng)用程序可用的全棧監(jiān)視數(shù)據(jù)，并在優(yōu)化棧時提供了更多細(xì)節(jié)和粒度。

該監(jiān)視數(shù)據(jù)包括來自應(yīng)用程序（來自Kafka，Spark Streaming和Kudu等系統(tǒng)）以及來自內(nèi)部部署和云基礎(chǔ)架構(gòu)的度量標(biāo)準(zhǔn)和日志。

根本原因可能是應(yīng)用程序問題（例如，Spark Streaming中的數(shù)據(jù)分區(qū)不良）或系統(tǒng)問題（例如，Kafka的配置欠佳），或者是基礎(chǔ)架構(gòu)問題（例如，多租戶資源爭用）。當(dāng)前的實踐依賴于使用流行工具的手動流程，而較新的機器學(xué)習(xí)和基于AI的解決方案會自動識別應(yīng)用程序瓶頸，運行緩慢和故障的根本原因，并調(diào)用自動修復(fù)。

另一個好處是，與如此普遍的組織猜測相比，實施此類流程可進(jìn)行更有效的容量規(guī)劃，從而降低成本并提高可靠性。

典型用例–網(wǎng)絡(luò)安全

這對于企業(yè)和大型組織的福祉至關(guān)重要-并且是大數(shù)據(jù)最有效和最具影響力的用例之一，即欺詐檢測和安全情報。然而，許多人認(rèn)為它是最具挑戰(zhàn)性的數(shù)據(jù)使用，說明了管理實時流數(shù)據(jù)的復(fù)雜性。

為了分析流交通數(shù)據(jù)，生成統(tǒng)計特征并訓(xùn)練機器學(xué)習(xí)模型以幫助檢測大型網(wǎng)絡(luò)（如僵尸網(wǎng)絡(luò)中的惡意主機）上的威脅，大數(shù)據(jù)系統(tǒng)需要復(fù)雜且消耗資源的監(jiān)視方法。分析師可能會將多種檢測方法同時應(yīng)用于相同的大量傳入數(shù)據(jù)，以進(jìn)行預(yù)處理，選擇性采樣和特征生成，從而增加了復(fù)雜性和性能挑戰(zhàn)。應(yīng)用程序通?？缍鄠€系統(tǒng)（例如，與Spark進(jìn)行交互進(jìn)行計算，與YARN進(jìn)行資源分配和調(diào)度，與HDFS或S3進(jìn)行數(shù)據(jù)訪問，與Kafka或Flink進(jìn)行流傳輸），并且可能包含獨立的，用戶定義的程序，因此重復(fù)進(jìn)行多種應(yīng)用程序中常見的數(shù)據(jù)預(yù)處理和特征生成效率低下，這些會在執(zhí)行過程中造成瓶頸，占用底層系統(tǒng)，導(dǎo)致資源利用不足，增加故障率（例如，由于內(nèi)存不足錯誤），并可能降低及時發(fā)現(xiàn)威脅的機會。

學(xué)習(xí)新技術(shù)

更新的技術(shù)可為網(wǎng)絡(luò)安全分析提供可靠的工作負(fù)載管理，并且更好地了解如何應(yīng)對本地和云中的現(xiàn)代數(shù)據(jù)應(yīng)用程序所面臨的運營挑戰(zhàn)，從而可以改變DevOps。

更好的分析工作負(fù)載管理包括：

• 識別共享共同特征和要求的應(yīng)用程序，并根據(jù)相關(guān)數(shù)據(jù)托管（例如，端口使用熵，IP區(qū)域或地理位置，安全性中的時間或流量持續(xù)時間的組合）將它們分組

• 分離由不同用戶提交的具有不同要求（例如，磁盤I / O繁重的預(yù)處理任務(wù)與計算繁重的特征選擇）的應(yīng)用程序（例如，SOC級別1與級別3的分析師）

• 為應(yīng)用程序分配適當(dāng)?shù)膱?zhí)行池/隊列，從而增加共享機會和計算相似性

通過機器學(xué)習(xí)算法從日志和傳感器中進(jìn)行高效，連續(xù)的度量收集，可以對應(yīng)用程序執(zhí)行進(jìn)行仔細(xì)檢查，確定潛在故障的原因，并生成建議以提高性能和資源使用率。這確實依賴于以下算法：改善性能/資源利用；使用應(yīng)用程序（或類似應(yīng)用程序）成功/失敗運行的歷史示例為失敗的應(yīng)用程序提供自動修復(fù)；并嘗試使用數(shù)量有限的替代配置，以使應(yīng)用程序快速進(jìn)入運行狀態(tài)，然后使應(yīng)用程序進(jìn)入資源高效且運行良好的狀態(tài)。

假設(shè)用戶想應(yīng)用機器學(xué)習(xí)算法來生成見解和建議。這些技術(shù)非常普遍，使用它們可以歸結(jié)為了解業(yè)務(wù)目標(biāo)是什么，DevOps目標(biāo)是什么，然后將正確的算法映射到挑戰(zhàn)中。

作為一個易于理解的問題，在卡夫卡世界中進(jìn)行異常檢測?？绱砘蚩绶謪^(qū)的負(fù)載不平衡是很常見的。通常，只有一個經(jīng)紀(jì)人承擔(dān)相對于其他經(jīng)紀(jì)人十分之一的負(fù)載，而通常相反，一個經(jīng)紀(jì)人成為熱點。這可以在許多不同級別的分區(qū)上發(fā)生。這個問題可以使用最簡單的離群值檢測算法快速找到或檢測到。但是，要考慮幾個不同的算法維度。

有很好的算法可以分析一次序列。有些對于多維分析非常有用。Z分?jǐn)?shù)使分布適合數(shù)據(jù)，并且任何與分布不匹配的點都是異常值。即使是像這樣的簡單算法，也可以大大幫助快速通知操作員某些事情需要立即注意。

有時，問題可能會涉及一個維度，但用戶通常可能希望識別在輸入數(shù)據(jù)以及CPU或磁盤利用率方面都異常的代理。有些算法可用于多維和早期檢測。

DBScan算法使用基于密度的聚類，將點分組為聚類，以便可以識別出不滿足聚類部分的事物。最近，由于離群值適用于任何類型的數(shù)據(jù)，因此引起了人們的興趣。

人們通過引入更多有趣和復(fù)雜的模型（如決策樹）來擴展這些算法。其次，通過深度學(xué)習(xí)，有一些自動編碼器可以根據(jù)原始數(shù)據(jù)重新創(chuàng)建數(shù)據(jù)并識別出哪些點不匹配。

考慮用例并應(yīng)用邏輯以簡化DevOps的生活是關(guān)鍵。首先要考慮環(huán)境中的挑戰(zhàn)，了解解決這些業(yè)務(wù)問題的簡單方法，并應(yīng)用智能解決方案通過機器學(xué)習(xí)/ AI從用戶那里奪走輪替作品。大規(guī)模交付依賴于效率，只有在大數(shù)據(jù)，支持云的世界中，效率才能來自增強人類問題解決機的自動化。