Apache Kylin?是一個開源的分布式分析引擎,提供Hadoop之上的SQL查詢接口及多維分析(OLAP)能力以支持超大規(guī)模數(shù)據(jù),最初由eBay Inc. 開發(fā)并貢獻至開源社區(qū)。它能在亞秒內查詢巨大的Hive表。
從官網的介紹來看Kylin是一個OLAP的數(shù)據(jù)查詢引擎,其特點就是快。公司最近準備引入Kylin做數(shù)據(jù)分析,原來也聽說過
但一直沒有接觸,現(xiàn)在正好可以驗證下Kylin是否是傳說中那么NB,今天我們先來看看如何安裝部署Kylin。
由于Kylin本身只是一個Server,所以安裝部署還是比較簡單的,但是它的前提要求是Hadoop,Hive,Hbase必須已經安裝而且能正常工作,在這里關于Hadoop生態(tài)的一些框架的安裝部署就不再重復寫了,有興趣的可以看我以前的博文。
下面來看下一些基礎軟件的版本:
在這里假設你的Hadoop,Hive,Hbase都已經安裝成功并能正常運行。
然后去Kylin官網下載對應的kylin版本,鏈接如下:
下載的具體版本是:
apache-kylin-2.0.0-bin-hbase1x.tar.gz
下載成功后,解壓到根目錄,然后重命名目錄為kylin并在.bash_profile 文件中,配置kylin的環(huán)境變量:
然后執(zhí)行bin/check-env.sh 腳本,檢查環(huán)境變量是否有缺失的,校驗通過之后,可以執(zhí)行如下腳本啟動:
這里需要注意一點,Kylin當前最新的版本只支持spark1.6.0的版本,原來我的機器中,安裝了一個spark2.0的版本,導致
啟動kylin失敗,終端僅僅輸出spark assembly lib not found這個提示信息,別的什么也沒有,導致我誤以為我編譯的spark有問題,后來我將我的spark移除,重新啟動kylin才成功,
另外一個注意的地方是Hadoop的mr-jobhistory-daemon.sh 進程也要啟動起來。
啟動成功之后,訪問地址:http://hostname:7070/kylin(kylin的啟動過程感覺有點慢,差不多1分鐘之后,在訪問這個地址基本能生效)
并輸入默認的用戶名和密碼:ADMIN / KYLIN 成功登錄之后,看到下面的頁面,就代表安裝部署成功了。