術(shù)語“大數(shù)據(jù)”是大型數(shù)據(jù)集，其中包括體積龐大，高速，以及各種由與日俱增的數(shù)據(jù)的集合。使用傳統(tǒng)的數(shù)據(jù)管理系統(tǒng)，它是難以加工大型數(shù)據(jù)。因此，Apache軟件基金會推出了一款名為Hadoop的解決大數(shù)據(jù)管理和處理難題的框架。

Hadoop

Hadoop是一個開源框架來存儲和處理大型數(shù)據(jù)在分布式環(huán)境中。它包含兩個模塊，一個是MapReduce，另外一個是Hadoop分布式文件系統(tǒng)（HDFS）。

• MapReduce：它是一種并行編程模型在大型集群普通硬件可用于處理大型結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

• HDFS：Hadoop分布式文件系統(tǒng)是Hadoop的框架的一部分，用于存儲和處理數(shù)據(jù)集。它提供了一個容錯文件系統(tǒng)在普通硬件上運行。

Hadoop生態(tài)系統(tǒng)包含了用于協(xié)助Hadoop的不同的子項目（工具）模塊，如Sqoop, Pig 和 Hive。

• Sqoop: 它是用來在HDFS和RDBMS之間來回導(dǎo)入和導(dǎo)出數(shù)據(jù)。

• Pig: 它是用于開發(fā)MapReduce操作的腳本程序語言的平臺。

• Hive: 它是用來開發(fā)SQL類型腳本用于做MapReduce操作的平臺。

注：有多種方法來執(zhí)行MapReduce作業(yè)：

• 傳統(tǒng)的方法是使用Java MapReduce程序結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
• 針對MapReduce的腳本的方式，使用Pig來處理結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。
• Hive查詢語言（HiveQL或HQL）采用Hive為MapReduce的處理結(jié)構(gòu)化數(shù)據(jù)。

Hive是什么？

Hive是一個數(shù)據(jù)倉庫基礎(chǔ)工具在Hadoop中用來處理結(jié)構(gòu)化數(shù)據(jù)。它架構(gòu)在Hadoop之上，總歸為大數(shù)據(jù)，并使得查詢和分析方便。

最初，Hive是由Facebook開發(fā)，后來由Apache軟件基金會開發(fā)，并作為進一步將它作為名義下Apache Hive為一個開源項目。它用在好多不同的公司。例如，亞馬遜使用它在 Amazon Elastic MapReduce。

Hive 不是

• 一個關(guān)系數(shù)據(jù)庫
• 一個設(shè)計用于聯(lián)機事務(wù)處理（OLTP）
• 實時查詢和行級更新的語言

Hiver特點

• 它存儲架構(gòu)在一個數(shù)據(jù)庫中并處理數(shù)據(jù)到HDFS。
• 它是專為OLAP設(shè)計。
• 它提供SQL類型語言查詢叫HiveQL或HQL。
• 它是熟知，快速，可擴展和可擴展的。

Hive架構(gòu)

下面的組件圖描繪了Hive的結(jié)構(gòu)：

該組件圖包含不同的單元。下表描述每個單元：

Hive工作原理

下圖描述了Hive 和Hadoop之間的工作流程。

下表定義Hive和Hadoop框架的交互方式：