-
>
決戰(zhàn)行測(cè)5000題(言語理解與表達(dá))
-
>
軟件性能測(cè)試.分析與調(diào)優(yōu)實(shí)踐之路
-
>
第一行代碼Android
-
>
深度學(xué)習(xí)
-
>
Unreal Engine 4藍(lán)圖完全學(xué)習(xí)教程
-
>
深入理解計(jì)算機(jī)系統(tǒng)-原書第3版
-
>
Word/Excel PPT 2013辦公應(yīng)用從入門到精通-(附贈(zèng)1DVD.含語音視頻教學(xué)+辦公模板+PDF電子書)
hive編程指南 版權(quán)信息
- ISBN:9787115333834
- 條形碼:9787115333834 ; 978-7-115-33383-4
- 裝幀:一般膠版紙
- 冊(cè)數(shù):暫無
- 重量:暫無
- 所屬分類:>>
hive編程指南 本書特色
市場中**本hive圖書。 hive在hadoop系統(tǒng)中的應(yīng)用趨勢(shì)比較可觀。
hive編程指南 內(nèi)容簡介
《hive編程指南》是一本apache hive的編程指南,旨在介紹如何使用hive的sql方法hiveql來匯總、查詢和分析存儲(chǔ)在hadoop分布式文件系統(tǒng)上的大數(shù)據(jù)集合。全書通過大量的實(shí)例,首先介紹如何在用戶環(huán)境下安裝和配置hive,并對(duì)hadoop和mapreduce進(jìn)行詳盡闡述,*終演示hive如何在hadoop生態(tài)系統(tǒng)進(jìn)行工作。 《hive編程指南》適合對(duì)大數(shù)據(jù)感興趣的愛好者以及正在使用hadoop系統(tǒng)的數(shù)據(jù)庫管理員閱讀使用。
hive編程指南 目錄
第1章 基礎(chǔ)知識(shí)
1.1 hadoop和mapreduce綜述
1.2 hadoop生態(tài)系統(tǒng)中的hive
1.2.1 pig
1.2.2 hbase
1.2.3 cascading、crunch及其他
1.3 java和hive:詞頻統(tǒng)計(jì)算法
1.4 后續(xù)事情
第2章 基礎(chǔ)操作
2.1 安裝預(yù)先配置好的虛擬機(jī)
2.2 安裝詳細(xì)步驟
2.2.1 裝java
2.2.2 安裝hadoop
2.2.3 本地模式、偽分布式模式和分布式模式
2.2.4 測(cè)試hadoop
2.2.5 安裝hive
2.3 hive內(nèi)部是什么
2.4 啟動(dòng)hive
2.5 配置hadoop環(huán)境
2.5.1 本地模式配置
2.5.2 分布式模式和偽分布式模式配置
2.5.3 使用jdbc連接元數(shù)據(jù)
2.6 hive命令
2.7 命令行界面
2.7.1 cli 選項(xiàng)
2.7.2 變量和屬性
2.7.3 hive中“一次使用”命令
2.7.4 從文件中執(zhí)行hive查詢
2.7.5 hiverc文件
2.7.6 使用hive cli的更多介紹
2.7.7 查看操作命令歷史
2.7.8 執(zhí)行shell命令
2.7.9 在hive內(nèi)使用hadoop的dfs命令
2.7.10 hive腳本中如何進(jìn)行注釋
2.7.11 顯示字段名稱
第3章 數(shù)據(jù)類型和文件格式
3.1 基本數(shù)據(jù)類型
3.2 集合數(shù)據(jù)類型
3.3 文本文件數(shù)據(jù)編碼
3.4 讀時(shí)模式
第4章 hiveql:數(shù)據(jù)定義
4.1 hive中的數(shù)據(jù)庫
4.2 修改數(shù)據(jù)庫
4.3 創(chuàng)建表
4.3.1 管理表
4.3.2 外部表
4.4 分區(qū)表、管理表
4.4.1 外部分區(qū)表
4.4.2 自定義表的存儲(chǔ)格式
4.5 刪除表
4.6 修改表
4.6.1 表重命名
4.6.2 增加、修改和刪除表分區(qū)
4.6.3 修改列信息
4.6.4 增加列
4.6.5 刪除或者替換列
4.6.6 修改表屬性
4.6.7 修改存儲(chǔ)屬性
4.6.8 眾多的修改表語句
第5章 hiveql:數(shù)據(jù)操作
5.1 向管理表中裝載數(shù)據(jù)
5.2 通過查詢語句向表中插入數(shù)據(jù)
5.3 單個(gè)查詢語句中創(chuàng)建表并加載數(shù)據(jù)
5.4 導(dǎo)出數(shù)據(jù)
第6章 hiveql:查詢
6.1 select…from語句
6.1.1 使用正則表達(dá)式來指定列
6.1.2 使用列值進(jìn)行計(jì)算
6.1.3 算術(shù)運(yùn)算符
6.1.4 使用函數(shù)
6.1.5 limit語句
6.1.6 列別名
6.1.7 嵌套select語句
6.1.8 case…when…then 句式
6.1.9 什么情況下hive可以避免進(jìn)行mapreduce
6.2 where語句
6.2.1 謂詞操作符
6.2.2 關(guān)于浮點(diǎn)數(shù)比較
6.2.3 like和rlike
6.3 group by 語句
6.4 join語句
6.4.1 inner join
6.4.2 join優(yōu)化
6.4.3 left outer join
6.4.4 outer join
6.4.5 right outer join
6.4.6 full outer join
6.4.7 left semi-join
6.4.8 笛卡爾積join
6.4.9 map-side join
6.5 order by和sort by
6.6 含有sort by 的distribute by
6.7 cluster by
6.8 類型轉(zhuǎn)換
6.9 抽樣查詢
6.9.1 數(shù)據(jù)塊抽樣
6.9.2 分桶表的輸入裁剪
6.10 union all
第7章 hiveql:視圖
7.1 使用視圖來降低查詢復(fù)雜度
7.2 使用視圖來限制基于條件過濾的數(shù)據(jù)
7.3 動(dòng)態(tài)分區(qū)中的視圖和map類型
7.4 視圖零零碎碎相關(guān)的事情
第8章 hiveql:索引
8.1 創(chuàng)建索引
8.2 重建索引
8.3 顯示索引
8.4 刪除索引
8.5 實(shí)現(xiàn)一個(gè)定制化的索引處理器
第9章 模式設(shè)計(jì)
9.1 按天劃分的表
9.2 關(guān)于分區(qū)
9.3 唯一鍵和標(biāo)準(zhǔn)化
9.4 同一份數(shù)據(jù)多種處理
9.5 對(duì)于每個(gè)表的分區(qū)
9.6 分桶表數(shù)據(jù)存儲(chǔ)
9.7 為表增加列
9.8 使用列存儲(chǔ)表
9.8.1 重復(fù)數(shù)據(jù)
9.8.2 多列
9.9 (幾乎)總是使用壓縮
第10章 調(diào)優(yōu)
10.1 使用explain
10.2 explain extended
10.3 限制調(diào)整
10.4 join優(yōu)化
10.5 本地模式
10.6 并行執(zhí)行
10.7 嚴(yán)格模式
10.8 調(diào)整mapper和reducer個(gè)數(shù)
10.9 jvm重用
10.10 索引
10.11 動(dòng)態(tài)分區(qū)調(diào)整
10.12 推測(cè)執(zhí)行
10.13 單個(gè)mapreduce中多個(gè)group by
10.14 虛擬列
第11章 其他文件格式和壓縮方法
11.1 確定安裝編解碼器
11.2 選擇一種壓縮編/解碼器
11.3 開啟中間壓縮
11.4 *終輸出結(jié)果壓縮
11.5 sequence file存儲(chǔ)格式
11.6 使用壓縮實(shí)踐
11.7 存檔分區(qū)
11.8 壓縮:包扎
第12章 開發(fā)
12.1 修改log4j屬性
12.2 連接java調(diào)試器到hive
12.3 從源碼編譯hive
12.3.1 執(zhí)行hive測(cè)試用例
12.3.2 執(zhí)行hook
12.4 配置hive和eclipse
12.5 maven工程中使用hive
12.6 hive中使用hive_test進(jìn)行單元測(cè)試
12.7 新增的插件開發(fā)工具箱(pdk)
第13章 函數(shù)
13.1 發(fā)現(xiàn)和描述函數(shù)
13.2 調(diào)用函數(shù)
13.3 標(biāo)準(zhǔn)函數(shù)
13.4 聚合函數(shù)
13.5 表生成函數(shù)
13.6 一個(gè)通過日期計(jì)算其星座的udf
13.7 udf與genericudf
13.8 不變函數(shù)
13.9 用戶自定義聚合函數(shù)
13.10 用戶自定義表生成函數(shù)
13.10.1 可以產(chǎn)生多行數(shù)據(jù)的udtf
13.10.2 可以產(chǎn)生具有多個(gè)字段的單行數(shù)據(jù)的udtf
13.10.3 可以模擬復(fù)雜數(shù)據(jù)類型的udtf
13.11 在 udf中訪問分布式緩存
13.12 以函數(shù)的方式使用注解
13.12.1 定數(shù)性(deterministic)標(biāo)注
13.12.2 狀態(tài)性(stateful)標(biāo)注
13.12.3 唯一性
13.13 宏命令
第14章 streaming
14.1 恒等變換
14.2 改變類型
14.3 投影變換
14.4 操作轉(zhuǎn)換
14.5 使用分布式內(nèi)存
14.6 由一行產(chǎn)生多行
14.7 使用streaming進(jìn)行聚合計(jì)算
14.8 cluster by、distribute by、sort by
14.9 genericmr tools for streaming to java
14.10 計(jì)算cogroup
第15章 自定義hive文件和記錄格式
15.1 文件和記錄格式
15.2 闡明create table句式
15.3 文件格式
15.3.1 sequencefile
15.3.2 rcfile
15.3.3 示例自定義輸入格式:dualinputformat
15.4 記錄格式:serde
15.5 csv和tsv serde
15.6 objectinspector
15.7 thing big hive reflection objectinspector
15.8 xml udf
15.9 xpath相關(guān)的函數(shù)
15.10 json serde
15.11 avro hive serde
15.11.1 使用表屬性信息定義avro schema
15.11.2 從指定url中定義schema
15.11.3 進(jìn)化的模式
15.12 二進(jìn)制輸出
第16章 hive的thrift服務(wù)
16.1 啟動(dòng)thrift server
16.2 配置groovy使用hiveserver
16.3 連接到hiveserver
16.4 獲取集群狀態(tài)信息
16.5 結(jié)果集模式
16.6 獲取結(jié)果
16.7 獲取執(zhí)行計(jì)劃
16.8 元數(shù)據(jù)存儲(chǔ)方法
16.9 管理hiveserver
16.9.1 生產(chǎn)環(huán)境使用hiveserver
16.9.2 清理
16.10 hive thriftmetastore
16.10.1 thriftmetastore 配置
16.10.2 客戶端配置
第17章 存儲(chǔ)處理程序和nosql
17.1 storage handler background
17.2 hivestoragehandler
17.3 hbase
17.4 cassandra
17.4.1 靜態(tài)列映射(static column mapping)
17.4.2 為動(dòng)態(tài)列轉(zhuǎn)置列映射
17.4.3 cassandra serde properties
17.5 dynamodb
第18章 安全
18.1 和hadoop安全功能相結(jié)合
18.2 使用hive進(jìn)行驗(yàn)證
18.3 hive中的權(quán)限管理
18.3.1 用戶、組和角色
18.3.2 grant 和 revoke權(quán)限
18.4 分區(qū)級(jí)別的權(quán)限
18.5 自動(dòng)授權(quán)
第19章 鎖
19.1 hive結(jié)合zookeeper支持鎖功能
19.2 顯式鎖和獨(dú)占鎖
第20章 hive和oozie整合
20.1 oozie提供的多種動(dòng)作(action)
20.2 一個(gè)只包含兩個(gè)查詢過程的工作流示例
20.3 oozie 網(wǎng)頁控制臺(tái)
20.4 工作流中的變量
20.5 獲取輸出
20.6 獲取輸出到變量
第21章 hive和亞馬遜網(wǎng)絡(luò)服務(wù)系統(tǒng)(aws)
21.1 為什么要彈性mapreduce
21.2 實(shí)例
21.3 開始前的注意事項(xiàng)
21.4 管理自有emr hive集群
21.5 emr hive上的thrift server服務(wù)
21.6 emr上的實(shí)例組
21.7 配置emr集群
21.7.1 部署hive-site.xml文件
21.7.2 部署.hiverc腳本
21.7.3 建立一個(gè)內(nèi)存密集型配置
21.8 emr上的持久層和元數(shù)據(jù)存儲(chǔ)
21.9 emr集群上的hdfs和s3
21.10 在s3上部署資源、配置和輔助程序腳本
21.11 s3上的日志
21.12 現(xiàn)買現(xiàn)賣
21.13 安全組
21.14 emr和ec2以及apache hive的比較
21.15 包裝
第22章 hcatalog
22.1 介紹
22.2 mapreduce
22.2.1 讀數(shù)據(jù)
22.2.2 寫數(shù)據(jù)
22.3 命令行
22.4 安全模型
22.5 架構(gòu)
第23章 案例研究
23.1 m6d.com(media6degrees)
23.1.1 m 6d的數(shù)據(jù)科學(xué),使用hive和r
23.1.2 m6d udf偽隨機(jī)
23.1.3 m6d如何管理多mapreduce集群間的hive數(shù)據(jù)訪問
23.2 outbrain
23.2.1 站內(nèi)線上身份識(shí)別
23.2.2 計(jì)算復(fù)雜度
23.2.3 會(huì)話化
23.3 nasa噴氣推進(jìn)實(shí)驗(yàn)室
23.3.1 區(qū)域氣候模型評(píng)價(jià)系統(tǒng)
23.3.2 我們的經(jīng)驗(yàn):為什么使用hive
23.3.3 解決這些問題我們所面臨的挑戰(zhàn)
23.4 photobucket
23.4.1 photobucket 公司的大數(shù)據(jù)應(yīng)用情況
23.4.2 hive所使用的硬件資源信息
23.4.3 hive提供了什么
23.4.4 hive支持的用戶有哪些
23.5 simplereach
23.6 experiences and needs from the customer trenches
23.6.1 介紹
23.6.2 customer trenches的用例
術(shù)語詞匯表
hive編程指南 相關(guān)資料
大數(shù)據(jù)的理論和價(jià)值逐漸得到了社會(huì)各界的認(rèn)可,各種各樣的大數(shù)據(jù)應(yīng)用系統(tǒng)應(yīng)運(yùn)而生,正在創(chuàng)造性地解決著不同使用場景下的問題。在大數(shù)據(jù)應(yīng)用越來越多樣化的同時(shí),對(duì)提供支撐的基礎(chǔ)技術(shù)平臺(tái)提出了更高的要求。hadoop是目前市場接受程度最高的大數(shù)據(jù)技術(shù)平臺(tái)之一,在大量有代表性的hadoop 1.x用戶使用體驗(yàn)和反饋的基礎(chǔ)上,廣受關(guān)注的hadoop 2.x版本在平臺(tái)設(shè)計(jì)層面做出了重大改進(jìn),已于2013年10月正式發(fā)布。 yarn是hadoop 2.x的核心部分。它作為新一代的資源管理系統(tǒng),不僅支持mapreduce計(jì)算框架,還可以支持流式計(jì)算框架、圖計(jì)算框架、內(nèi)存迭代計(jì)算框架等,極大地?cái)U(kuò)展了hadoop的使用場景,提高了hadoop集群的利用效率。董西成先生理論功底深厚,實(shí)踐經(jīng)驗(yàn)豐富,本書可以幫助大家快速了解和學(xué)習(xí)yarn。 —— 謝磊 北京小象科技有限公司執(zhí)行董事/chinahadoop技術(shù)社區(qū)負(fù)責(zé)人
hive編程指南 作者簡介
Edward Capriolo:Media6degrees公司系統(tǒng)管理員,他是Apache軟件基金會(huì)成員,還是Hadoop-Hive項(xiàng)目成員。 Dean Wampler:Think Big Analytics公司總顧問,對(duì)大數(shù)據(jù)問題以及Hadoop和機(jī)器學(xué)習(xí)有專門的研究。 Jason Rutherglen:Think Big Analytics公司軟件架構(gòu)師,對(duì)大數(shù)據(jù)、Hadoop、搜索和安全有專門的研究。
- >
巴金-再思錄
- >
苦雨齋序跋文-周作人自編集
- >
二體千字文
- >
回憶愛瑪儂
- >
史學(xué)評(píng)論
- >
自卑與超越
- >
羅曼·羅蘭讀書隨筆-精裝
- >
月亮與六便士