本篇案例為資料猿推出的大型“金融大資料主題策劃”活動（查看詳情）第一部分的系列案例/徵文；感謝 日誌易 的投遞
作為整體活動的第二部分，
在論壇現場， 也將頒發“技術創新獎”、“應用創新獎”、“最佳實踐獎”、“優秀案例獎”四大類案例獎
兩年前《政府工作報告》中指出， 要“制定‘互聯網+’行動計畫”， “促進互聯網金融健康發展”， 標誌著我國金融行業正面臨著用互聯網和新技術重構業務、管理與IT的重大變革視窗。
依託移動終端的普及和互聯科技的飛速發展，
2016年我國基金行業總規模歷史首次突破9萬億。 隨著宏觀金融環境的優化和資本市場基礎性制度的不斷完善， 為基金行業發展提供了良好的制度背景。 作為支撐基金行業發展的基金業務系統（電商， 直銷， 零錢， TA系統， 櫃檯， 支付， 投研等）其重要性以及即時性要求日益劇增， 尤其是業務系統雲化後之後， 傳統的ITOM手段已經無法滿足業務系統運維管理的需求，
而作為ITOA重要資料之一的機器資料， 貫穿著整個基金業務系統的各處理環節， 通過對業務系統各環節機器資料的分析， 可以快速協助運維人員儘快故障定位， 還能即時發現業務系統異常告警， 同時還可以統計業務量， 業務時延， 業務成功率等指標， 已經成為基金行業ITOA必備手段。
週期/節奏
2016年3月初， 日誌易接洽鵬華基金， 進行客戶需求調研及可行性方案研究， 4月下旬開始部署測試日誌易日誌管理平臺， 5月份進入招標階段， 最終在8月正式簽下合同。
客戶名稱/所屬分類
鵬華基金/大資料技術服務
任務/目標
客戶提出建立一個日誌管理統一平臺， 該平臺首先應滿足2017年6月1日即將正式實施的《中華人民共和國網路安全法》相關要求。 即在日誌存儲方面可以對使用者敏感性資料進行脫敏處理；對資料進行不少於6個月備份管理；同時可以還原指定時間範圍的應用日誌， 並提供查詢功能， 滿足監管部門取證要求。
同時使用日誌管理平臺能對各類型日誌進行准即時檢索分析， 如針對網路設備、安全設備日誌， 實現自動安全巡檢， 攻擊溯源以及攻擊預警， 發現傳統安全設備沒有發現或阻斷的安全威脅。 通過使用者行為日誌實現對內網各環節的用戶行為進行安全行為審計， 對業務日誌分析進行業務邏輯告警以及使用者行為分析、資料採擷等等。
挑戰
在互聯網時代， 各種各樣的行為都會被以“日誌”形態記錄存儲下來， 這些日誌資料包括了使用者的基本資訊、網路流覽行為、交易行為、社交行為等等。 在基金行業， 面對每天交易所產生的海量資料， 以及各種伺服器、防火牆所產生的日誌， 如何在大體量資料中挖掘有效資訊加以利用是一個重大難題。
●日誌分散難以管理
日誌產生於不同的業務部門、分佈在不同的伺服器上， 無人重視隨時可能被覆蓋和刪除， 缺乏日誌管理機制。 只有將這些分散的日誌資料統收集、才能相互對照， 發現問題所在。 以投資銀行為例， 傳統模式下， 交易部門和研究部門的資料是相互獨立， 甚至資料的儲存格式都不同， 由此形成一個個資訊孤島，造成不同系統間關聯分析困難、事故原因分析困難。
●缺乏海量日誌處理能力
資料體量大所帶來的問題不僅僅是存儲，更多的是龐大的資料無法使用。作為成熟的金融行業，隨著網上支付、手機銀行、互聯網金融等新一代業務的出現，每天產生的各種業務資料、網路設備資料及防火牆資料等將輕鬆突破TB級別，傳統的資料庫及系統架構已經無法支撐如此龐大的資料量，傳統方法處理效率低、時延長，企業完全淹沒在一片資料汪洋之中。
●日誌格式複雜難以解讀
就日誌資料來說，最容易處理的是企業內部的傳統資料——結構化資料。然而隨著資訊技術的飛速發展，日誌資料的範圍已經擴大到企業的各個層面，伺服器、各種網路設備及五花八門的應用軟體產生了多種多樣的資料格式。這些資料的可讀性很差，對於普通人來說無異於亂碼，即便是專業的技術人員，也很難一眼看懂一條資料。
●使用成本高昂
作為電子錢與交易資訊傳輸系統，一旦出現帳戶盜用、虛假資訊等現象，將既影響到國家金融與個人經濟利益，又涉及到交易隱私的安全性，同時還增加了金融風險的傳導與擴散危險，面對海量日誌帶來的運維難題，無論是購買國外最先進的產品還是聘請專業的技術團隊對企業來說都是一筆不小的開支，需要花費大量的人力物力。
實施過程/解決方案
作為2014年3月成立的國內首家海量日誌分析企業，優特捷資訊技術有限公司一直致力於開發一款易用、靈活而強大的日誌管理工具——日誌易，以高品質的產品為金融行業使用者資訊化建設搭建高可靠動力平臺，竭力探尋金融行業對資料更深層次的需求，説明企業降低業務流程和應用系統的開發和運維成本，實現准即時處理海量日誌，從而達到大資料時代的風險管控需求。目前日誌易已成功為國內銀行、基金、支付行業等諸多商業使用者提供日誌解決方案。
日誌易為客戶提供的解決方案如下：
統一的日誌管理平臺
作為2014年3月成立的國內首家海量日誌分析企業，優特捷資訊技術有限公司一直致力於開發一款易用、靈活而強大的日誌管理工具——日誌易，以高品質的產品為金融行業使用者資訊化建設搭建高可靠動力平臺，竭力探尋金融行業對資料更深層次的需求，説明企業降低業務流程和應用系統的開發和運維成本，實現准即時處理海量日誌，從而達到大資料時代的風險管控需求。目前日誌易已成功為國內銀行、基金、支付行業等諸多商業使用者提供日誌解決方案。
日誌易為客戶提供的解決方案如下：
●統一採集，集中管理
日誌易為企業建立統一日誌管理平臺，將分散的日誌統一採集，整個系統由多個模組構成，使用者可以根據自身伺服器資源、資料量、系統穩定性等因素自訂各個模組的節點組成，同時支援物理機和虛擬機器混合部署，保證資料安全性。
在鵬華基金的專案中，日誌易提供直觀的web介面對日誌採集源進行管理，使用者可以直接從頁面添加需要採集的日誌目錄及檔：
點擊具體IP位址，工程師可以看到日誌採集agent對相應目錄下日誌檔的採集情況，方便管理，徹底解決了日誌分散的問題：
同時日誌易實現日誌全生命週期管理，支援配置不同appname生命週期，支援索引定期備份，支援介面化日誌恢復。
●日誌解析，讓日誌格式化
日誌易提供常見日誌格式的自動解析，將非格式化日誌轉化為格式化日誌。同時為用戶提供交互友好的提取欄位功能。使用者可使用滑鼠劃選日誌內容，系統將自動生成規則運算式。説明使用者將日誌中的有效資訊劃分為一個個欄位，方便查看和檢索。
日誌易同時支援在資料接入存儲之後，根據搜索統計需求，提取臨時欄位。並以這些臨時欄位進行後續統計分析。解決了資料預先處理的性能損耗、冗餘欄位的磁片佔用、提取規則變動時的重建處理等諸多常見問題。
在鵬華基金專案中，企業擁有多種日誌格式需要統一處理日誌易詳細瞭解該基金公司需求，搭建日誌管理平臺，將各類日誌統一收集：
日誌易對Apache、Linux、JSON等常見格式日誌自動解析，同時也提供自訂日誌解析功能：對於一條超過1k的複雜的日誌，日誌易可對其進行多行合併處理並提供多種自訂解析方法，同時支援對日誌進行中文轉換等處理，使日誌內容更易讀。
例如該公司的原始金證系統日誌，日誌內容複雜，結構混亂，可讀性極差，通過多行日誌合併，正則匹配等方式完成重要欄位抽取解析。
解析前：
解析後：
●敏感資訊過濾
針對基金行業涉及的敏感資訊，日誌易提供靈活的脫敏處理，使用者可以將日誌資訊中的敏感資訊在集中採集時進行替換：
利用欄位提取-內容替換功能，使用者可自訂設置敏感資訊替換，例如：
將日誌資訊中的卡號資訊（15～19位元數位）和身份證資訊（15或18位元數位，末尾可能為X），使用正則匹配將帳戶資訊替換為：$1#######$2
●完善的許可權體系
作為一個安全可靠的日誌管理平臺，日誌易同時也提供完善的許可權管理體系，使用者可建立日誌分組及使用者分組進行許可權劃分，同時針對敏感資訊提供靈活的脫敏服務保障客戶的資料安全。
●日誌准即時檢索，快速定位目標日誌
日誌易日誌處理速度達到500萬／秒，總位元組可達到100TB/天。日誌易支援全文索引，使用者無需掌握複雜的查詢語句，可以像使用搜尋引擎一樣查詢日誌，通過滑鼠點擊實現欄位過濾、時間範圍選擇和簡單查詢。系統採用分散式資料處理技術，可達到秒級延時。
通過日誌搜索介面，日誌易將所有日誌集中展現，使用者只需點擊相應日誌類型，即可篩選出特定日誌格式。
同時使用者利用日誌易可對日誌進行准即時檢索，在鵬華基金案例中，269萬條10G日誌可在5秒鐘返回搜素結果，説明使用者快速定位問題日誌：
●關聯分析，探尋日誌真相
模組化、服務化的業務系統，需要進行跨主機、跨網路的事務追蹤和故障定位。日誌易支援搜索處理語言（Search Processing Language, SPL），提供 stats、eval、where、等20多項管道指令， max、min、avg、sum、dc、es、hg、pct、pct_ranks 等20多項統計函數，if-else、case、+-*%等邏輯計算。日誌易提供 transaction 搜索和可自訂的關聯事務查詢介面。讓使用者快速直觀的定位複雜網路和業務架構下的異常事務。
關聯分析——海量資料中快速定位問題
通過日誌易多維度搜索查詢頁面，使用者通過關鍵字查詢即可快速過濾出目標日誌，例如根據中介軟體客戶請求ip，請求路徑、狀態碼搜索出對應訪問日誌。日誌易同時支援搜索處理語言（SPL，Search Processing Language）進行複雜統計及關聯分析。
例如對比防火牆、路由器產生日誌趨勢，使用以下語句：
* | bucket timestamp span = 1h as ts | stats count(appname) as count_ by ts,hostname
可以看到ASA防火牆日誌量相對較大，會有波峰波谷，路由器發出日誌量較少，其中一台僅在4月22日14:00左右發出一條日誌
關聯分析——深度分析挖掘
在實際業務分析中，用戶利用關聯分析可將不同來源的日誌中的相關內容進行聚合，再進行統計分析。
例如金證用戶操作頻度分佈分析中，用戶希望統計贖回、開戶、查詢、申購的占比，但日誌內容中不會有這些欄位，只會出現即時清算完成、贖回清算完成、餘額查詢完成等相應資訊。利用日誌易的高級SPL語法，對相應內容進行聚合轉換後再統計。
則該語句分析結果如下：
通過選擇餅狀圖生成視覺化效果：
●豐富的視覺化
日誌易對日誌的分析統計結果提供了豐富多樣的視覺化效果，並支援用戶將不同緯度的視覺化效果彙聚成儀錶盤，日誌情況一目了然。
●建立強大的告警體系——防患於未然
日誌易具備強大的日誌告警功能，改變過去只能事後追查的被動運維方式。使用者可以通過統計分析，對日誌分析結果進行告警，例如分時段交易監控告警功能，當交易量低於閥值時即時告警，運維人員將及時發現異常，第一時間進行處理。
建立告警列表如下：
使用者可以針對日誌內容設定告警條件，例如針對網路CC攻擊告警，首先需要在日誌中找出正在遭受CC攻擊的IP地址，即對在一定時間範圍相同源IP發生的請求事件次數進行統計；
建立搜索語句，統計IP位址請求事件：
appname:access_log | stats count(appname) as count_ by apache.clientip|sort by c
可以看出請求次數最多的幾個IP統計資訊，在該搜索基礎上建立告警：
結果/效果總結
當前階段，大資料智慧運維説明傳統運維進入新階段，極大地提高了金融行業運維工作的效率，降低了運維工作的難度，改變了過去人工為主，依賴經驗的運維模式。尤其在新興的互聯網金融領域，大資料智慧運維更是發揮了重要的作用。
●極大提高運維效率
傳統運維技術需要大量人工作業，通常排查一個問題需要花費一個有經驗的運維技術人員數小時精力，而依靠大資料日誌分析運維技術，可以實現即時檢索，定制化告警達到秒級延時。同時建立提前預警、事中告警、事後定位三環連動告警機制。
這樣就可以滿足消費金融場景中，夜間快速運維工作的要求，減輕了工作人員的壓力，也極大提升了用戶體驗。
●貫穿整個核心交易系統，實現視覺化
大資料日誌分析技術改變了傳統的資料使用模式，基於多種維度統計用戶的訪問習慣，使用者的終端類型、存取時間、地理區域及運營商接入情況可以將互聯網、金融機構、線下零售與社交、運營商等多維資料來源相結合，對用戶行為進行全方位畫像，覆蓋的維度廣，並可將資料視覺化，讓企業更瞭解用戶，有助於實現精准行銷。
業務日誌分析IT架構：
日誌易同時配備了豐富的視覺化及定時報表功能，內置IP地址庫。改變過去古板的統計報表模式，使用者可自訂儀錶盤，即時展示各種分析圖形，資料情況一目了然：
同時日誌易提供靈活的動態報表，支援使用者自訂群組建報表內容，自動生成日報、週報。
●合規審計
利用大資料日誌分析技術進行合規審計，可幫助企業靈活應對上級主管部門的合規性要求，將合規性管理工作由無序變有序，適時呈現企業的合規狀態：
通過在業務主機上安裝羽量級的Agent，將業務日誌即時的送到日誌中心，真實的還原業務的訪問過程，精准的分析業務流程的時延。精准的識別基於業務邏輯的攻擊行為，對不符合業務流程的訪問行為進行提取。為工作人員提供清晰的視覺化的業務分析報表和業務攻擊告警。同時滿足審計記錄的規範化的需求，由於全網設備種類繁多，各設備日誌資訊存儲格 式、欄位含義、通信協議差異較大。需要對採集到的各種設備日誌進行歸一化處理，提取審計記錄完整資訊，為後續審計分析提供依據。
●防止內外部的安全威脅
採用大資料日誌搜索分析技術，資料具有高安全性 :使用者行為的每條日誌，都會被記錄；任意磁片順壞、機器宕機情況下，資料自動複製修復。
穩定服務：進程crash、機器宕機資料自動遷移；可以進行水準擴展，使用者可以按需動態增加節點數來增加吞吐。
企業介紹
日誌易，北京優特捷資訊技術有限公司是一家從事海量日誌即時採集、搜索、分析、視覺化研發的大資料公司，公司成立於2014年3月，總部位於北京，同時在上海、廣州、深圳、南京、成都等地均設有分支機搆，服務覆蓋全國。
公司崇尚敏捷開放的互聯網文化，研發團隊擁有來自BAT的頂尖研發人才，在即時檢索、日誌分析、雲計算、資料中心運維等領域擁有豐富的實戰經驗，掌握核心技術、目前已申請12項日誌搜索分析方面的技術發明專利。
團隊致力於將日誌分析產品打造得像Google搜尋引擎一樣強大、靈活而易用，從而實現對日誌的集中管理。日誌易聚焦於使用者的核心需求，提供即時搜索、關聯分析、監控告警、多維統計和資料視覺化等功能，説明企業進行運維監控、安全合規審計及業務資料採擷。目前日誌易提供企業部署版和SaaS服務，同時提供面向金融、運營商、電力、互聯網等行業的日誌分析解決方案。
目前日誌易已在阿裡雲、騰訊雲、金山雲等公有雲上線，並擁有中國銀行、華夏銀行、東吳證券、中國移動、國家電網、小米、上汽通用等5000多用戶，遍佈金融、能源、運營商、互聯網等各行各業。
公司於2014年3月獲得真格基金等投資者1400萬元天使投資；于2015年12月獲得紅杉資本中國基金6000萬元A輪投資，於2016年入選中關村前沿企業。公司成立以來在海量日誌搜索分析方向不斷努力，曾榮獲2014年中國大資料技術大會“全國大資料創新專案”第一名，入選微軟創投加速器第六期，入選2015大資料生態系統百強（BigData100），榮獲2015年度中國軟體和資訊服務大資料領域最佳產品獎，以及2015-2016年度大資料優秀解決方案獎。並於2016年獲得公安部頒發的國家資訊安全等級保護三級認證。
歡迎更多大資料企業、大資料愛好者投稿資料猿，來稿請直接投遞至：tougao@datayuan.cn
由此形成一個個資訊孤島，造成不同系統間關聯分析困難、事故原因分析困難。●缺乏海量日誌處理能力
資料體量大所帶來的問題不僅僅是存儲，更多的是龐大的資料無法使用。作為成熟的金融行業，隨著網上支付、手機銀行、互聯網金融等新一代業務的出現，每天產生的各種業務資料、網路設備資料及防火牆資料等將輕鬆突破TB級別，傳統的資料庫及系統架構已經無法支撐如此龐大的資料量，傳統方法處理效率低、時延長，企業完全淹沒在一片資料汪洋之中。
●日誌格式複雜難以解讀
就日誌資料來說，最容易處理的是企業內部的傳統資料——結構化資料。然而隨著資訊技術的飛速發展，日誌資料的範圍已經擴大到企業的各個層面，伺服器、各種網路設備及五花八門的應用軟體產生了多種多樣的資料格式。這些資料的可讀性很差，對於普通人來說無異於亂碼，即便是專業的技術人員，也很難一眼看懂一條資料。
●使用成本高昂
作為電子錢與交易資訊傳輸系統，一旦出現帳戶盜用、虛假資訊等現象，將既影響到國家金融與個人經濟利益，又涉及到交易隱私的安全性，同時還增加了金融風險的傳導與擴散危險，面對海量日誌帶來的運維難題，無論是購買國外最先進的產品還是聘請專業的技術團隊對企業來說都是一筆不小的開支，需要花費大量的人力物力。
實施過程/解決方案
作為2014年3月成立的國內首家海量日誌分析企業，優特捷資訊技術有限公司一直致力於開發一款易用、靈活而強大的日誌管理工具——日誌易，以高品質的產品為金融行業使用者資訊化建設搭建高可靠動力平臺，竭力探尋金融行業對資料更深層次的需求，説明企業降低業務流程和應用系統的開發和運維成本，實現准即時處理海量日誌，從而達到大資料時代的風險管控需求。目前日誌易已成功為國內銀行、基金、支付行業等諸多商業使用者提供日誌解決方案。
日誌易為客戶提供的解決方案如下：
統一的日誌管理平臺
作為2014年3月成立的國內首家海量日誌分析企業，優特捷資訊技術有限公司一直致力於開發一款易用、靈活而強大的日誌管理工具——日誌易，以高品質的產品為金融行業使用者資訊化建設搭建高可靠動力平臺，竭力探尋金融行業對資料更深層次的需求，説明企業降低業務流程和應用系統的開發和運維成本，實現准即時處理海量日誌，從而達到大資料時代的風險管控需求。目前日誌易已成功為國內銀行、基金、支付行業等諸多商業使用者提供日誌解決方案。
日誌易為客戶提供的解決方案如下：
●統一採集，集中管理
日誌易為企業建立統一日誌管理平臺，將分散的日誌統一採集，整個系統由多個模組構成，使用者可以根據自身伺服器資源、資料量、系統穩定性等因素自訂各個模組的節點組成，同時支援物理機和虛擬機器混合部署，保證資料安全性。
在鵬華基金的專案中，日誌易提供直觀的web介面對日誌採集源進行管理，使用者可以直接從頁面添加需要採集的日誌目錄及檔：
點擊具體IP位址，工程師可以看到日誌採集agent對相應目錄下日誌檔的採集情況，方便管理，徹底解決了日誌分散的問題：
同時日誌易實現日誌全生命週期管理，支援配置不同appname生命週期，支援索引定期備份，支援介面化日誌恢復。
●日誌解析，讓日誌格式化
日誌易提供常見日誌格式的自動解析，將非格式化日誌轉化為格式化日誌。同時為用戶提供交互友好的提取欄位功能。使用者可使用滑鼠劃選日誌內容，系統將自動生成規則運算式。説明使用者將日誌中的有效資訊劃分為一個個欄位，方便查看和檢索。
日誌易同時支援在資料接入存儲之後，根據搜索統計需求，提取臨時欄位。並以這些臨時欄位進行後續統計分析。解決了資料預先處理的性能損耗、冗餘欄位的磁片佔用、提取規則變動時的重建處理等諸多常見問題。
在鵬華基金專案中，企業擁有多種日誌格式需要統一處理日誌易詳細瞭解該基金公司需求，搭建日誌管理平臺，將各類日誌統一收集：
日誌易對Apache、Linux、JSON等常見格式日誌自動解析，同時也提供自訂日誌解析功能：對於一條超過1k的複雜的日誌，日誌易可對其進行多行合併處理並提供多種自訂解析方法，同時支援對日誌進行中文轉換等處理，使日誌內容更易讀。
例如該公司的原始金證系統日誌，日誌內容複雜，結構混亂，可讀性極差，通過多行日誌合併，正則匹配等方式完成重要欄位抽取解析。
解析前：
解析後：
●敏感資訊過濾
針對基金行業涉及的敏感資訊，日誌易提供靈活的脫敏處理，使用者可以將日誌資訊中的敏感資訊在集中採集時進行替換：
利用欄位提取-內容替換功能，使用者可自訂設置敏感資訊替換，例如：
將日誌資訊中的卡號資訊（15～19位元數位）和身份證資訊（15或18位元數位，末尾可能為X），使用正則匹配將帳戶資訊替換為：$1#######$2
●完善的許可權體系
作為一個安全可靠的日誌管理平臺，日誌易同時也提供完善的許可權管理體系，使用者可建立日誌分組及使用者分組進行許可權劃分，同時針對敏感資訊提供靈活的脫敏服務保障客戶的資料安全。
●日誌准即時檢索，快速定位目標日誌
日誌易日誌處理速度達到500萬／秒，總位元組可達到100TB/天。日誌易支援全文索引，使用者無需掌握複雜的查詢語句，可以像使用搜尋引擎一樣查詢日誌，通過滑鼠點擊實現欄位過濾、時間範圍選擇和簡單查詢。系統採用分散式資料處理技術，可達到秒級延時。
通過日誌搜索介面，日誌易將所有日誌集中展現，使用者只需點擊相應日誌類型，即可篩選出特定日誌格式。
同時使用者利用日誌易可對日誌進行准即時檢索，在鵬華基金案例中，269萬條10G日誌可在5秒鐘返回搜素結果，説明使用者快速定位問題日誌：
●關聯分析，探尋日誌真相
模組化、服務化的業務系統，需要進行跨主機、跨網路的事務追蹤和故障定位。日誌易支援搜索處理語言（Search Processing Language, SPL），提供 stats、eval、where、等20多項管道指令， max、min、avg、sum、dc、es、hg、pct、pct_ranks 等20多項統計函數，if-else、case、+-*%等邏輯計算。日誌易提供 transaction 搜索和可自訂的關聯事務查詢介面。讓使用者快速直觀的定位複雜網路和業務架構下的異常事務。
關聯分析——海量資料中快速定位問題
通過日誌易多維度搜索查詢頁面，使用者通過關鍵字查詢即可快速過濾出目標日誌，例如根據中介軟體客戶請求ip，請求路徑、狀態碼搜索出對應訪問日誌。日誌易同時支援搜索處理語言（SPL，Search Processing Language）進行複雜統計及關聯分析。
例如對比防火牆、路由器產生日誌趨勢，使用以下語句：
* | bucket timestamp span = 1h as ts | stats count(appname) as count_ by ts,hostname
可以看到ASA防火牆日誌量相對較大，會有波峰波谷，路由器發出日誌量較少，其中一台僅在4月22日14:00左右發出一條日誌
關聯分析——深度分析挖掘
在實際業務分析中，用戶利用關聯分析可將不同來源的日誌中的相關內容進行聚合，再進行統計分析。
例如金證用戶操作頻度分佈分析中，用戶希望統計贖回、開戶、查詢、申購的占比，但日誌內容中不會有這些欄位，只會出現即時清算完成、贖回清算完成、餘額查詢完成等相應資訊。利用日誌易的高級SPL語法，對相應內容進行聚合轉換後再統計。
則該語句分析結果如下：
通過選擇餅狀圖生成視覺化效果：
●豐富的視覺化
日誌易對日誌的分析統計結果提供了豐富多樣的視覺化效果，並支援用戶將不同緯度的視覺化效果彙聚成儀錶盤，日誌情況一目了然。
●建立強大的告警體系——防患於未然
日誌易具備強大的日誌告警功能，改變過去只能事後追查的被動運維方式。使用者可以通過統計分析，對日誌分析結果進行告警，例如分時段交易監控告警功能，當交易量低於閥值時即時告警，運維人員將及時發現異常，第一時間進行處理。
建立告警列表如下：
使用者可以針對日誌內容設定告警條件，例如針對網路CC攻擊告警，首先需要在日誌中找出正在遭受CC攻擊的IP地址，即對在一定時間範圍相同源IP發生的請求事件次數進行統計；
建立搜索語句，統計IP位址請求事件：
appname:access_log | stats count(appname) as count_ by apache.clientip|sort by c
可以看出請求次數最多的幾個IP統計資訊，在該搜索基礎上建立告警：
結果/效果總結
當前階段，大資料智慧運維説明傳統運維進入新階段，極大地提高了金融行業運維工作的效率，降低了運維工作的難度，改變了過去人工為主，依賴經驗的運維模式。尤其在新興的互聯網金融領域，大資料智慧運維更是發揮了重要的作用。
●極大提高運維效率
傳統運維技術需要大量人工作業，通常排查一個問題需要花費一個有經驗的運維技術人員數小時精力，而依靠大資料日誌分析運維技術，可以實現即時檢索，定制化告警達到秒級延時。同時建立提前預警、事中告警、事後定位三環連動告警機制。
這樣就可以滿足消費金融場景中，夜間快速運維工作的要求，減輕了工作人員的壓力，也極大提升了用戶體驗。
●貫穿整個核心交易系統，實現視覺化
大資料日誌分析技術改變了傳統的資料使用模式，基於多種維度統計用戶的訪問習慣，使用者的終端類型、存取時間、地理區域及運營商接入情況可以將互聯網、金融機構、線下零售與社交、運營商等多維資料來源相結合，對用戶行為進行全方位畫像，覆蓋的維度廣，並可將資料視覺化，讓企業更瞭解用戶，有助於實現精准行銷。
業務日誌分析IT架構：
日誌易同時配備了豐富的視覺化及定時報表功能，內置IP地址庫。改變過去古板的統計報表模式，使用者可自訂儀錶盤，即時展示各種分析圖形，資料情況一目了然：
同時日誌易提供靈活的動態報表，支援使用者自訂群組建報表內容，自動生成日報、週報。
●合規審計
利用大資料日誌分析技術進行合規審計，可幫助企業靈活應對上級主管部門的合規性要求，將合規性管理工作由無序變有序，適時呈現企業的合規狀態：
通過在業務主機上安裝羽量級的Agent，將業務日誌即時的送到日誌中心，真實的還原業務的訪問過程，精准的分析業務流程的時延。精准的識別基於業務邏輯的攻擊行為，對不符合業務流程的訪問行為進行提取。為工作人員提供清晰的視覺化的業務分析報表和業務攻擊告警。同時滿足審計記錄的規範化的需求，由於全網設備種類繁多，各設備日誌資訊存儲格 式、欄位含義、通信協議差異較大。需要對採集到的各種設備日誌進行歸一化處理，提取審計記錄完整資訊，為後續審計分析提供依據。
●防止內外部的安全威脅
採用大資料日誌搜索分析技術，資料具有高安全性 :使用者行為的每條日誌，都會被記錄；任意磁片順壞、機器宕機情況下，資料自動複製修復。
穩定服務：進程crash、機器宕機資料自動遷移；可以進行水準擴展，使用者可以按需動態增加節點數來增加吞吐。
企業介紹
日誌易，北京優特捷資訊技術有限公司是一家從事海量日誌即時採集、搜索、分析、視覺化研發的大資料公司，公司成立於2014年3月，總部位於北京，同時在上海、廣州、深圳、南京、成都等地均設有分支機搆，服務覆蓋全國。
公司崇尚敏捷開放的互聯網文化，研發團隊擁有來自BAT的頂尖研發人才，在即時檢索、日誌分析、雲計算、資料中心運維等領域擁有豐富的實戰經驗，掌握核心技術、目前已申請12項日誌搜索分析方面的技術發明專利。
團隊致力於將日誌分析產品打造得像Google搜尋引擎一樣強大、靈活而易用，從而實現對日誌的集中管理。日誌易聚焦於使用者的核心需求，提供即時搜索、關聯分析、監控告警、多維統計和資料視覺化等功能，説明企業進行運維監控、安全合規審計及業務資料採擷。目前日誌易提供企業部署版和SaaS服務，同時提供面向金融、運營商、電力、互聯網等行業的日誌分析解決方案。
目前日誌易已在阿裡雲、騰訊雲、金山雲等公有雲上線，並擁有中國銀行、華夏銀行、東吳證券、中國移動、國家電網、小米、上汽通用等5000多用戶，遍佈金融、能源、運營商、互聯網等各行各業。
公司於2014年3月獲得真格基金等投資者1400萬元天使投資；于2015年12月獲得紅杉資本中國基金6000萬元A輪投資，於2016年入選中關村前沿企業。公司成立以來在海量日誌搜索分析方向不斷努力，曾榮獲2014年中國大資料技術大會“全國大資料創新專案”第一名，入選微軟創投加速器第六期，入選2015大資料生態系統百強（BigData100），榮獲2015年度中國軟體和資訊服務大資料領域最佳產品獎，以及2015-2016年度大資料優秀解決方案獎。並於2016年獲得公安部頒發的國家資訊安全等級保護三級認證。
歡迎更多大資料企業、大資料愛好者投稿資料猿，來稿請直接投遞至：tougao@datayuan.cn