Programming Hive book Chapter 2

1. Programming
Hive
2.Getting Started

2. この章について
この章では、以下に関して説明します。
● Hadoop・Hiveのインストール方法
● Hadoop・Hiveの設定
● Hiveの提供する機能
● Hiveのコマンドに関して

3. 仮想マシンのインストール
以下の4サイトで公開されている、仮想マシンを使えば、
HadoopやHiveがインストールされていて、すぐに実行可能な
環境が手に入る。
● Cloudera
● MapR
● Hortonworks
● Think Big Analytics

4. 個別インストール
● Java
○ 1.6.X, 1.7.X
○ JREではなく、JDK
● Hadoop
○ 0.20.2推奨（性能・互換性）
● Hive
○ Hadoopのバージョンはあまり意識しなくても大丈夫

5. Hiveに同梱されているもの
● CLI
○ 対話型のHiveコマンド実行ツール
● Server
○ Thrift、JDBC、ODBCを利用して、リモートアクセスを可能とする
コンポーネント
● Metastore
○ デフォルトはDerbyだけど、シングルプロセス用
○ MysqlなどのRDBを利用する事も可能
● HWI
○ Hiveにリモートアクセウする為のシンプルなWebインターフェー
ス

6. Hiveを始める
Hiveコマンドを実行
$HIVE_HOME/bin/hiveはCLIを起動する為のShellScript
このコマンドを実行する事で、対話型にHiveコマンドを実行する事が
できる
クエリは複数行にする事も可能
デフォルトのDerbyのmetastoreは、作業ディレクトリにサブディレクト
リが作成され、そこに作成されるが、設定により場所変更は可能

7. Hiveの設定
基本的な設定
個人的な設定は、$HOME/.hivercに記載
○ hive.metastore.warehouse.dir Hiveテーブルの保存場所
メタストア関連
DistributedModeで利用する場合は、JDBCのデータストアを利用を
推奨
※ メタストアの容量は小さいので、ハイスペックなサーバは不要
ただし、レプリケーションなどを利用してSPOFを作らない
○ javax.jdo.option.ConnectionURL 接続先DBのURL
○ javax.jdo.option.ConnectionDiriverName DBのドライバ名
○ javax.jdo.option.ConnectionUserName 接続先DBのユーザ名
○ javax.jdo.option.ConnectionPassword 接続先DBのパスワード

8. Hiveコマンド
コマンドオプション
--help でオプションの一覧を参照可能
--service name で指定のサービスを立ち上げる事が可能
「name」には、cli, hiveserver, hwi, jar, metasotore, rcfilecatが指
定可能
--auxpath でUDFなどの入ったJARファイルやJARのあるディレクト
リを指定する事が可能
--config でconfのディレクトリを変更可能

9. Command-Line interface
コマンドオプション
-d, --define でCLIで利用するKeyValueを設定
NameSpaceにより、KeyValueは分けて保存されるが、上記コマンド
では、hivevarというNameSpaceに保存される
NameSpaceは、hivevar, hiveconf, system, envがある
KeyValueはJavaのStringで保存され、クエリ処理前にHiveによっ
て、置換される
CLIでset を利用して、値の設定・参照を行う
set に -v なしだと、全てのNameSpaceの設定値が表示される
set に-v をつけると、HDFSやMapReduceの設定値が表示される

10. Command-Line interface
NameSpaceの説明
hiveconf のNameSpaceには、ユーザが利用したい任意の値を保
存する（--hivevar key=value も可能）
hiveconf のNameSpaceには、Hiveの振る舞いに関する値が保存さ
れる（--hiveconf key=value も可能）
system のNameSpaceには、Javaのsystem関連の値が保存される
env のNameSpaceには、環境変数関連の値が保存される

11. Command-Line interface
コマンドオプション
-e でクエリを指定する事で、直接HiveQLを実行可能
-S で「OK」や「Time taken...」の表示を抑制可能
$ hive -S -e "set" | grep *****を利用すると、プロパティ名を探すの
に便利
-f でファイルに記載されたHiveQLを実行
HiveShellに入ってから、sourceコマンドでも同様にファイルから
HiveQLを実行できる
"src"というテーブルを利用したサンプルを時々見かけるが、これは
不適切
HiveのUnitTestでは、"src"を作成しており、いつでもある訳ではな
い。

12. Command-Line interface
コマンドオプション
-i filename 指定されたファイルのHiveコマンドを実行してから、CLI
を起動
$HOME/.hivercは、自動で読み込まれる
※コマンドの末尾には必ずセミコロンを付ける

13. Command-Line interface
その他の機能
Tabキーを押す事で、キーワードや関数名がオートコンプリートで表
示される
↑↓キーで、ヒストリーを参照
ただし、セミコロンまでの１クエリという単位でなく、1行単位で保存さ
れる
$HOME/.hivehistoryに履歴は保存される
! を行頭につけると、ShellCommandを実行可能
ただし、パイプやワイルドカードは利用できない

14. Command-Line interface
その他の機能
dfs を行頭につけると、DFSコマンドを実行可能
-- を行頭につけると、その行はコメント扱い
hive.cli.print.header=trueを設定すると、結果の1行目にカラム名表
示