摘要:1、集群管理 前臺啟動broker Ctrl + C 關閉 后臺啟動broker 關閉broker 2、Topic管理 創建topic 刪除topic 查詢topic列表 查詢topic詳情 修改topic 3、Consumer Groups管理 查詢消費者組 查詢消費者組詳情 重設消費者組位移 刪 閱讀全文
posted @ 2019-09-16 09:27 獨孤風 閱讀 (45) 評論 (0) 編輯
摘要:1.背景 Apache Flink 和 Apache Storm 是當前業界廣泛使用的兩個分布式實時計算框架。其中 Apache Storm(以下簡稱“Storm”)在美團點評實時計算業務中已有較為成熟的運用(可參考 Storm 的 可靠性保證測試),有管理平臺、常用 API 和相應的文檔,大量實時 閱讀全文
posted @ 2019-09-12 09:47 獨孤風 閱讀 (158) 評論 (0) 編輯
摘要:本文簡述通過maven和gradle快速構建的Flink工程。建議安裝好Flink以后構建自己的Flink項目,安裝與示例運行請查看: "Flink快速入門 安裝與示例運行" . 在安裝好Flink以后,只要快速構建Flink工程,并完成相關代碼開發,就可以輕松入手Flink。 構建工具 Flink 閱讀全文
posted @ 2019-09-10 10:24 獨孤風 閱讀 (212) 評論 (0) 編輯
摘要:1、了解 Apache Kafka 1.1、簡介 官網://kafka.apache.org/ Apache Kafka 是一個開源 消息系統 ,由Scala 寫成。是由Apache 軟件基金會開發的一個開源消息系統項目。 Kafka 最初是由LinkedIn 開發,并于2011 年初開源 閱讀全文
posted @ 2019-09-09 10:11 獨孤風 閱讀 (525) 評論 (0) 編輯
摘要:實現批處理的技術許許多多,從各種關系型數據庫的sql處理,到大數據領域的MapReduce,Hive,Spark等等。這些都是處理有限數據流的經典方式。而Flink專注的是無限流處理,那么他是怎么做到批處理的呢? 無限流處理:輸入數據沒有盡頭;數據處理從當前或者過去的某一個時間 點開始,持續不停地進 閱讀全文
posted @ 2019-09-06 10:34 獨孤風 閱讀 (205) 評論 (0) 編輯
摘要:Yahoo 的 Storm 團隊曾發表了一篇 "博客文章" ,并在其中展示了 Storm、Flink 和 Spark Streaming 的性能測試結果。該測試對于業界而言極 具價值,因為它是流處理領域的第一個基于真實應用程序的基準測試。 該應用程序從 Kafka 消費廣告曝光消息,從 Redis 閱讀全文
posted @ 2019-09-05 10:28 獨孤風 閱讀 (212) 評論 (0) 編輯
摘要:Kafka在0.10.0.0版本以前的定位是分布式,分區化的,帶備份機制的日志提交服務。而kafka在這之前也沒有提供數據處理的顧服務。大家的流處理計算主要是還是依賴于Storm,Spark Streaming,Flink等流式處理框架。 Storm,Spark Streaming,Flink流處理 閱讀全文
posted @ 2019-09-04 11:14 獨孤風 閱讀 (275) 評論 (0) 編輯
摘要:流式計算分為無狀態和有狀態兩種情況。無狀態計算觀察每個獨立的事件,Storm就是無狀態的計算框架,每一條消息來了以后和前后都沒有關系,一條是一條。比如我們接收電力系統傳感器的數據,當電壓超過240v就報警,這就是無狀態的數據。但是如果我們需要同時判斷多個電壓,比如三相電路,我們判斷三相電都高于某個值 閱讀全文
posted @ 2019-09-03 17:47 獨孤風 閱讀 (133) 評論 (0) 編輯
摘要:Flink對于流處理架構的意義十分重要,Kafka讓消息具有了持久化的能力,而處理數據,甚至穿越時間的能力都要靠Flink來完成。 在 "Streaming 大數據的未來" 一文中我們知道,對于流式處理最重要的兩件事,正確性,時間推理工具。而Flink對兩者都有非常好的支持。 Flink對于正確性的 閱讀全文
posted @ 2019-09-02 12:35 獨孤風 閱讀 (234) 評論 (1) 編輯
摘要:我們知道過去對于Kafka的定義是分布式,分區化的,帶備份機制的日志提交服務。也就是一個分布式的消息隊列,這也是他最常見的用法。但是Kafka不止于此,打開最新的官網。 我們看到Kafka最新的定義是:Apache Kafka? is a distributed streaming platform 閱讀全文
posted @ 2019-08-30 11:25 獨孤風 閱讀 (153) 評論 (0) 韩国快乐8开奖结果查询