第六周-大數(shù)據(jù)學(xué)習(xí)班,深圳模具廠,模塑科技
回顧第5周 , 上周的 Hbase 軟件, 盧老師提供過百度云盤的記錄。 或者自己下載。
Hbase 增刪改查 的 操作;
多種類型可以混合應(yīng)用
可以增加邏輯判斷和計(jì)算, 在條件中, 這是 scala 的強(qiáng)大之處。
這種是遞歸的函數(shù), 也就是函數(shù)中調(diào)用了自己本身的函數(shù)
變長(zhǎng)數(shù)組,定長(zhǎng)數(shù)組, 可變數(shù)組, 可以相互轉(zhuǎn)化。
reverse , 這個(gè)是 取反 的意思, 也就是倒序。
%2 取模 , 也就是去偶數(shù)
.min 是進(jìn)行取小。
映射,必須有鍵值對(duì),有K 有 V, 對(duì)鍵值對(duì)的調(diào)換、
Scala 主要是計(jì)算 文本搜索統(tǒng)計(jì)中, 得到的統(tǒng)計(jì)結(jié)果,
MAP 映射相關(guān)的操作。
1、壓平,
2、鍵值對(duì),
3、統(tǒng)計(jì),
4、鍵值對(duì)調(diào)換,
5、在進(jìn)行排序,
6、再次統(tǒng)計(jì)。
定義元組
這個(gè)元組, 也就是一個(gè)容器, 可以對(duì)他取值。
這就是結(jié)果。
parton 用的很多,
=JaVa 中的重載
這些就是 SCALA 的 類的運(yùn)用
上周 Hbase 和 Scala的復(fù)習(xí)
接下來講 kafaka 再講 zookeppr
-------------------------------------------------------------------------------------------------------------------------------------------------
KAFAKA ,首先要了解 KAFAKA 的如下內(nèi)容
產(chǎn)生的背景, 一個(gè)分布式的發(fā)布以及訂閱的消息系統(tǒng),她最初由 linkdin 開發(fā)的,
使用 scala 語(yǔ)音書寫的。 最終成為 Apache項(xiàng)目的一部分,可劃分, 多訂閱者
的
舉例說明: 灑水車是 kafaka 裝水就是 生產(chǎn) , 灑水就是消費(fèi)的過程。
灌水的速度 和 灑水的速度是多少? 就是消息
-----------------下午開始學(xué)習(xí) KAFAKA
parttion 有序列號(hào), 可以并行處理更多的數(shù)據(jù), 每個(gè)消息都有ID , 也叫 offset 。
一個(gè)生產(chǎn)交易系統(tǒng), 每天產(chǎn)生 1億的訂單量 , (分布在很多?。?nbsp; , 需要全國(guó)的銷量監(jiān)控, 以及各個(gè)省份的,
匯總到北京, 可以做到, 各個(gè)省份的排名,
1、 實(shí)際放入 的數(shù)據(jù), 是實(shí)時(shí)產(chǎn)生的, 并不是同時(shí)產(chǎn)生的, 所以輸入到 KAFKA 中, 然后由 Spark 取出來計(jì)算出來。
具體的接口
2、統(tǒng)計(jì)第一步, 第二步, 預(yù)測(cè) , 學(xué)習(xí), 挖掘 。 甚至可以人臉識(shí)別。
KaFKa 的 Message , 也就是把 Message 。 下周講 10-13 上課 。
Hbase 是No SQL數(shù)據(jù)庫(kù) ,