一分耕耘,一分收獲,來到千鋒大數(shù)據(jù)培訓(xùn)的兩個月里,深刻的認識到了這句話的真諦。
比起大學(xué)里吃喝玩樂,混日子,白白丟掉大把的光陰。在大數(shù)據(jù)培訓(xùn)班里的每一天都十分充實。每天依舊按部就班,卻再也不是泡網(wǎng)吧,和朋友吃吃喝喝,刷夜吃雞。從清早踏進教室的大門,到午夜時分,迎著月光回到寢室,每一天都仿佛是一場精神上的洗禮,腦子里裝著滿滿的知識,整個人雖然非常疲憊,但此刻內(nèi)心卻無比的平靜。
我想任何一個正常的成年人都會思考未來,哪怕曾經(jīng)的我,日日虛度光景,午夜夢回之時也會經(jīng)歷內(nèi)心的掙扎。有幸,我選擇了千鋒,這垂死掙扎的結(jié)果,是我賭贏了!
隨著學(xué)習的節(jié)奏越來越快,每天沒有多余的時間給我浪費,只有埋頭苦學(xué),才能追趕那些優(yōu)秀的人。一分耕耘,一分收獲,我的路還很長,肯付出便有希望,加油。
hdfs haadmin -failover 手動進行故障轉(zhuǎn)移,在該模式下,即使現(xiàn)役,NameNode 已經(jīng)失效,系統(tǒng)也不會自動從現(xiàn)役NameNode 轉(zhuǎn)移到待機 NameNode,下面學(xué)習如何部署 HA 自動進行故障轉(zhuǎn)移。自動故障轉(zhuǎn)移為 HDFS 部署增加了兩個新組件:
ZooKeeper 和 ZKFailoverController(ZKFC)進程。ZooKeeper 是維護少量協(xié)調(diào)數(shù)據(jù),通知客戶端這些數(shù)據(jù)的改變和監(jiān)視客戶端故障的高可用服務(wù)。HA 的自動故障轉(zhuǎn)移依賴于ZooKeeper 的以下功能:
1) 故障檢測:集群中的每個 NameNode 在 ZooKeeper 中維護了一個持久會話,如果機器崩潰,ZooKeeper 中的會話將終止,ZooKeeper 通知另一個 NameNode 需要觸發(fā)故障轉(zhuǎn)移。
2) 現(xiàn)役 NameNode 選擇:ZooKeeper 提供了一個簡單的機制用于唯一的選擇一個節(jié)點為 active 狀態(tài)。如果目前現(xiàn)役 NameNode 崩潰,另一個節(jié)點可能從 ZooKeeper 獲得特殊的排外鎖以表明它應(yīng)該成為現(xiàn)役NameNode。
ZKFC 是自動故障轉(zhuǎn)移中的另一個新組件,是 ZooKeeper 的客戶端,也監(jiān)視和管理
NameNode 的狀態(tài)。每個運行 NameNode 的主機也運行了一個 ZKFC 進程,ZKFC 負責:
1) 健康監(jiān)測:ZKFC 使用一個健康檢查命令定期地 ping 與之在相同主機的NameNode,只要該 NameNode 及時地回復(fù)健康狀態(tài),ZKFC 認為該節(jié)點是健康的。如果該節(jié)點崩潰,凍結(jié)或進入不健康狀態(tài),健康監(jiān)測器標識該節(jié)點為非健康的。
2) ZooKeeper會話管理:當本地 NameNode 是健康的,ZKFC 保持一個在 ZooKeeper中打開的會話。如果本地 NameNode 處于 active 狀態(tài),ZKFC 也保持一個特殊的 znode 鎖, 該鎖使用了 ZooKeeper 對短暫節(jié)點的支持,如果會話終止,鎖節(jié)點將自動刪除。
3) 基于 ZooKeeper的選擇:如果本地 NameNode 是健康的,且 ZKFC 發(fā)現(xiàn)沒有其它的節(jié)點當前持有 znode 鎖,它將為自己獲取該鎖。如果成功,則它已經(jīng)贏得了選擇,并負責運行故障轉(zhuǎn)移進程以使它的本地NameNode 為 active。故障轉(zhuǎn)移進程與前面描述的手動故障轉(zhuǎn)移相似,首先如果必要保護之前的現(xiàn)役 NameNode,然后本地 NameNode 轉(zhuǎn)換為 active 狀態(tài)。
以上是最近學(xué)習所做總結(jié),路漫漫其修遠兮,吾將上下而求索。希望以我的例子借鑒那些尚有理智的朋友,浪子回頭,亦可直走巔峰。人生的路很長,此刻放下貪戀,創(chuàng)造你的人生價值,不晚。
千鋒大數(shù)據(jù)培訓(xùn)課程首先從宏觀上講述了大數(shù)據(jù)的特點,商業(yè)應(yīng)用,發(fā)展和職業(yè)前景。然后對主流數(shù)據(jù)技術(shù)和生態(tài)圈進行了介紹,了解其他和大數(shù)據(jù)技術(shù)之間關(guān)系,然后對不同類型的大數(shù)據(jù)的分析和處理系統(tǒng),解決方案和行業(yè)案例進行剖析和講解。
此外,想要學(xué)習大數(shù)據(jù)的同學(xué),可以先參加千鋒大數(shù)據(jù)培訓(xùn)兩周的預(yù)科班,全程都是免費試聽的,先看自己適不適合學(xué)習再做接下來的準備更加萬無一失不是?