摘要:Apache Flink Apache Flink 是一個兼顧高吞吐、低延遲、高性能的分布式處理框架。在實時計算崛起的今天,Flink正在飛速發展。由于性能的優勢和兼顧批處理,流處理的特性,Flink可能正在顛覆整個大數據的生態。 DataSet API 首先要想運行Flink,我們需要下載并解壓F 閱讀全文
posted @ 2020-01-06 13:55 獨孤風 閱讀 (289) 評論 (0) 編輯
摘要:雙11大屏 每年天貓雙十一購物節,都會有一塊巨大的實時作戰大屏,展現當前的銷售情況。 這種炫酷的頁面背后,其實有著非常強大的技術支撐,而這種場景其實就是實時報表分析。 實時報表分析是近年來很多公司采用的報表統計方案之一,其中最主要的應用就是實時大屏展示。利用流式計算實時得出結果直接被推送到前端應用, 閱讀全文
posted @ 2020-01-03 10:36 獨孤風 閱讀 (44) 評論 (0) 編輯
摘要:新功能 允許消費者從最近的副本進行獲取 為 Consumer Rebalance Protocol 增加對增量協同重新均衡(incremental cooperative rebalancing)的支持 新增 MirrorMaker 2.0 (MM2),新的多集群跨數據中心復制引擎 引入新的 Jav 閱讀全文
posted @ 2019-12-30 09:32 獨孤風 閱讀 (134) 評論 (0) 編輯
摘要:Vmvare設置好虛擬機的磁盤大小之后,發現磁盤空間不夠了,這個時候怎么擴展磁盤的大小呢? 首先,在確保虛擬機關閉的情況下,右鍵設置,選擇硬盤,擴展,這樣就可以增加磁盤的大小。 但是由于未進行分區和磁盤掛載的設置,我們啟動虛擬機以后并不能使用增加的磁盤空間,這個時候怎么辦呢?有兩種辦法 先用root 閱讀全文
posted @ 2019-12-27 10:04 獨孤風 閱讀 (49) 評論 (0) 編輯
摘要:Ambari 2.7.3.0安裝新組件和之前版本略有不同,本文將簡述安裝新組件的簡單過程。 前提是大家已經安裝好Ambari 2.7.3.0 這時候由于有一些組件沒有添加,就需要安裝新的組件。 首先我們登錄到Ambari中。 然后選擇左下角 Stack and Versions 在這個頁面可以看到我 閱讀全文
posted @ 2019-12-26 09:27 獨孤風 閱讀 (33) 評論 (0) 編輯
摘要:flink是一款開源的大數據流式處理框架,他可以同時批處理和流處理,具有容錯性、高吞吐、低延遲等優勢,本文簡述flink的編程模型。 數據集類型: 無窮數據集:無窮的持續集成的數據集合 有界數據集:有限不會改變的數據集合 常見的無窮數據集有: 用戶與客戶端的實時交互數據 應用實時產生的日志 金融市場 閱讀全文
posted @ 2019-12-16 11:00 獨孤風 閱讀 (102) 評論 (0) 編輯
摘要:flink是一款開源的大數據流式處理框架,他可以同時批處理和流處理,具有容錯性、高吞吐、低延遲等優勢,本文簡述flink在windows和linux中安裝步驟,和示例程序的運行,包括本地調試環境,集群環境。另外介紹Flink的開發工程的構建。 首先要想運行Flink,我們需要下載并解壓Flink的二 閱讀全文
posted @ 2019-12-11 09:17 獨孤風 閱讀 (217) 評論 (0) 編輯
摘要:1、基本組件棧 了解Spark的朋友會發現Flink的架構和Spark是非常類似的,在整個軟件架構體系中,同樣遵循著分層的架構設計理念,在降低系統耦合度的同時,也為上層用戶構建Flink應用提供了豐富且友好的接口。 Flink分為架構分為三層,由上往下依次是API&Libraries層、Runtim 閱讀全文
posted @ 2019-12-10 09:02 獨孤風 閱讀 (80) 評論 (0) 編輯
摘要:漏洞描述 Apache Flink是一個用于分布式流和批處理數據的開放源碼平臺。Flink的核心是一個流數據流引擎,它為數據流上的分布式計算提供數據分發、通信和容錯功能。Flink在流引擎之上構建批處理,覆蓋本地迭代支持、托管內存和程序優化。近日有安全研究人員發現apache flink允許上傳任意 閱讀全文
posted @ 2019-11-26 09:25 獨孤風 閱讀 (72) 評論 (0) 編輯
摘要:一、Atlas是什么? 在當今大數據的應用越來越廣泛的情況下,數據治理一直是企業面臨的巨大問題。 大部分公司只是單純的對數據進行了處理,而數據的血緣,分類等等卻很難實現,市場上也急需要一個專注于數據治理的技術框架,這時Atlas應運而生。 Atlas官網地址: "https://atlas.apac 閱讀全文
posted @ 2019-11-22 11:03 獨孤風 閱讀 (180) 評論 (0) 韩国快乐8开奖结果查询