摘要:我們有的時候需要雙主mysql, 這樣無論哪個數據庫出現了問題的話都可以繼續使用數據庫。把兩個數據庫掛到一個代理上面,這樣哪個服務出問題了,另外一個就可以繼續服務了。當然本文不是主要談代理的,所以這個不做細說。 因為我們的電腦資源有限,所有我們繼續采用docker的形式進行處理。 首先我的電腦是ma 閱讀全文
posted @ 2020-03-29 17:00 黃青石 閱讀 (106) 評論 (1) 編輯
摘要:docker的使用越來越普遍了,大家不知道docker的還需要進一步學習一下。這次咱們使用docker去進行hadoop集群的構建。 使用docker構建的好處真的很多,一臺電腦上可以學習安裝很多想做的東西,可以說是一個docker可以虛擬你想使用的任何環境。大家知道安裝hadoop需要很多機器和資 閱讀全文
posted @ 2020-03-20 18:48 黃青石 閱讀 (56) 評論 (0) 編輯
摘要:隨著Flink 1.10的發布,對SQL的支持也非常強大。Flink 還提供了 MySql, Hive,ES, Kafka等連接器Connector,所以使用起來非常方便。 接下來咱們針對構建流式SQL應用文章的梗概如下: 1. 搭建流式SQL應用所需要的環境準備。 2. 構建一個按每小時進行統計購 閱讀全文
posted @ 2020-03-15 16:05 黃青石 閱讀 (331) 評論 (0) 編輯
摘要:Flink不同于其他實時計算的框架之處是它可以提供針對不同的狀態進行編程和計算。本篇文章的主要思路如下,大家可以選擇性閱讀。 1. Flink的狀態分類及不同點。 2. Flink針對不同的狀態進行編程。 3. 檢查點機制和配置。 4. 狀態的存儲。 Flilnk的狀態分類及不同點 Flink有兩種 閱讀全文
posted @ 2020-03-11 20:12 黃青石 閱讀 (139) 評論 (0) 編輯
摘要:Flink提供了像表一樣處理的API和像執行SQL語句一樣把結果集進行執行。這樣很方便的讓大家進行數據處理了。比如執行一些查詢,在無界數據和批處理的任務上,然后將這些按一定的格式進行輸出,很方便的讓大家像執行SQL一樣簡單。 今天主要寫的東西分為如下幾個方面,然后遵循著下邊幾個方面進行展開: 1.  閱讀全文
posted @ 2020-02-20 20:25 黃青石 閱讀 (180) 評論 (0) 編輯
摘要:之前寫了一些關于RPC原理的文章,但是覺得還得要實現一個。之前看到一句話覺得非常有道理,與大家共勉。不是“不要重復造輪子”,而是“不要發明輪子”,所以能造輪子還是需要造的。 如果大家還有不了解原理的,可參考我之前寫的“RPC原理”,點擊即可通過“飛機票”過去。 這篇文章的梗概如下: 1. 介紹一下這 閱讀全文
posted @ 2020-02-10 20:13 黃青石 閱讀 (60) 評論 (0) 編輯
摘要:當數據進入Flink的時候,數據需要帶入相應的時間,根據相應的時間進行處理。 讓咱們想象一個場景,有一個隊列,分別帶著指定的時間,那么處理的時候,需要根據相應的時間進行處理,比如:統計最近五分鐘的訪問量,那么就需要知道數據到來的時間。五分鐘以內的數據將會被計入,超過五分鐘的將會計入下一個計算窗口。 閱讀全文
posted @ 2020-01-11 13:37 黃青石 閱讀 (112) 評論 (0) 編輯
摘要:JobManager協調每個flink應用的部署,它負責執行定時任務和資源管理。 每一個Flink集群都有一個jobManager, 如果jobManager出現問題之后,將不能提交新的任務和運行新任務失敗,這樣會造成單點失敗,所以需要構建高可用的JobMangager。 類似zookeeper一樣 閱讀全文
posted @ 2020-01-01 17:23 黃青石 閱讀 (152) 評論 (0) 編輯
摘要:flink會把數據分成不同的窗口,然后進行匯總和統計。 flink的窗口分為timeWindow, countWindow, sessionWindow, gapWindow。 timeWindow分為基于時間的滾動窗口和滑動窗口。 舉個例子,統計每60秒的訪問量需要的就是滾動窗口;每5分鐘統計一次 閱讀全文
posted @ 2019-12-25 22:02 黃青石 閱讀 (127) 評論 (0) 編輯
摘要:topN功能是一個非常常見的功能,比如查看最近幾分鐘的閱讀最高數,購買最高數。 flink實現topN的功能也非常方便,下面就開始構建一個flink topN的程序。 還是像上篇博客一樣,從kafka讀取數據,然后進行計算和數據轉換,最后sink到mysql中。 假設有個需求,實現一個統計每5分鐘最 閱讀全文
posted @ 2019-12-15 10:48 黃青石 閱讀 (648) 評論 (1) 韩国快乐8开奖结果查询