Havana版 RDO-QuickStart-3 (140421-Havana-RDO-QuickStart-3.pdf)

RDO Neutron Multi Quickstart Plus
CinderバックエンドとしてNFS共有を利用
+++++++++++++++++++++++++++++++++++
最終更新日: 2014/3/26
■この文書について
この文書は以下の構成でOpenStack Havana環境をさくっと構築する場合の手順を説明し
ています。
サーバーとは別途、クライアントを用意して、同じネットワークに接続します｡
・Client/NFS(兼用)
-cinder-volume
・node1
-Controller
-Network
-Compute
・node2
-Compute
・gre-tunneling
この文書は以下の公開資料を元にしています。
RDO Neutron Quickstart
http://openstack.redhat.com/Neutron-Quickstart
http://openstack.redhat.com/Adding_a_compute_node
http://openstack.redhat.com/Neutron_with_existing_external_network
CinderのバックエンドとしてNFS共有を利用する
https://access.redhat.com/site/documentation/en-US/
Red_Hat_Enterprise_Linux_OpenStack_Platform/3/html/
Installation_and_Configuration_Guide/
Configuring_for_NFS_Storage.html
■行うこと一覧
各ノードに対して行う作業は次の通りです｡
◆NFSサーバー
・NFSサーバーのインストール
・NFS共有ストレージの構成
◆クライアント

・固定IPアドレスの割り当て
・ブラウザのインストール
◆Node1
・sysctl.confの設定
・/etc/rc.localの設定
・Havanaリポジトリーの追加
・システムアップデート
・Packstackおよび必要パッケージのインストール
・アンサーファイルを生成
・アンサーファイルの編集
・Packstackの実行
・ネットワークの設定
・ネットワークの追加
・ユーザーの追加
・Cinder-Volumeの設定
・Novaの設定変更
◆Node2
・sysctl.confの設定
・/etc/rc.localの設定
・Havanaリポジトリーの追加
・システムアップデート
・Packstackおよび必要パッケージのインストール
・Novaの設定変更
■事前準備
Step 0: 要件
Software:
・Red Hat Enterprise Linux (RHEL) 6.4以降
・CentOS, Scientific Linux 6.4以降
・Fedora 19
Hardware:
・CPU 2Core以上
・メモリー4GB以上
・最低2つのNIC
Network:
・インターネットにアクセスできる環境

訳注:
本書では次のネットワーク構成を利用します。
Public Network
192.168.1.0/24
Private Network
192.168.0.0/24
SELinux:
下記公式サイトのコメントにあるようにSELinuxをpermissive(いっそのことdisable)
に設定する
Note: Due to the quantum/neutron rename, SELinux policies are
currently broken for Havana, so SELinux must be disabled/permissive
on machines running neutron services, edit /etc/selinux/config to
set SELINUX=permissive.
Step 1: 固定IPアドレスの割り当て
各ノードに固定のIPアドレスを割り当てます。
Client/NFS(兼用)
eth0
192.168.0.10/24
eth1
192.168.1.10/24
Node1(CentOS 6.5)
-ctl,net,com1
eth0
192.168.0.11/24
eth1
192.168.1.11/24
Node2(CentOS 6.5)
eth0
192.168.0.12/24
eth1
192.168.1.12/24
Step 2: sysctl.confの設定
以下の通り、デフォルト設定から変更します。
>--
# vi /etc/sysctl.conf
net.ipv4.ip_forward = 1 #変更
net.ipv4.conf.default.rp_filter = 0 #変更

net.bridge.bridge-nf-call-ip6tables = 0 #設定確認
net.bridge.bridge-nf-call-iptables = 0 #設定確認
net.bridge.bridge-nf-call-arptables = 0 #設定確認
net.ipv4.conf.all.rp_filter = 0 #追記
net.ipv4.conf.all.forwarding = 1 #追記
# sysctl -e -p /etc/sysctl.conf
（設定を反映）
--<
Step 3: /etc/rc.localの設定
ファイルに以下の通り、追記します。
>--
# vi /etc/rc.local
echo 0 > /proc/sys/net/bridge/bridge-nf-call-iptables
echo 0 > /proc/sys/net/bridge/bridge-nf-call-ip6tables
echo 0 > /proc/sys/net/bridge/bridge-nf-call-arptables
--<
【参考】
・公式ガイド Compute
http://docs.openstack.org/admin-guide-cloud/content/ch_introduction-
to-openstack-compute.html#section_network-troubleshoot
Step 4: Havanaリポジトリーの追加
ソフトウェアパッケージのインストールを行います｡
ノード毎次のコマンドを実行します。
>--
# yum install -y http://rdo.fedorapeople.org/openstack-havana/rdo-
release-havana.rpm
--<
Step 5: システムアップデート
ノード毎システムアップデートを実施したら再起動します。
>--
# yum -y update
# reboot
--<

■Packstackと必要パッケージのインストール
Step 6: Packstackおよび必要パッケージのインストール
ノード毎以下のようにコマンドを実行します｡
>--
# yum install -y openstack-packstack python-netaddr libguestfs-tools
--<
推奨:時刻同期サーバーの導入
複数ノード間の通信時は時刻が正確に同期されている必要があります｡
以下の手順にしたがって、各ノードにNTPサーバーを追加します。
>--
# yum install ntp
# ntpdate ntp.nict.jp
# chkconfig ntpd on
# service ntpd start
--<
Step 7: アンサーファイルを生成
node1で以下のようにコマンドを実行します｡
>--
# packstack --gen-answer-file=answer.txt
(answer.txtという名前のファイルを作成する場合)
--<
アンサーファイルを使うことで定義した環境でOpenStackをデプロイできます｡
作成したアンサーファイルは1台のマシン（packstackを実行したノード）にすべてをイン
ストールする設定が行われています｡IPアドレスや各種パスワードなどを適宜設定します｡
Step 8: アンサーファイルの編集
とりあえず2台構成のOpenStack環境を作るには最低限以下のパラメータを設定します。
・アンサーファイルのCONFIG_NOVA_COMPUTE_HOSTSにコンピュートノードを設定
CONFIG_NOVA_COMPUTE_HOSTS=192.168.0.11,192.168.0.12
・greの設定を行う
CONFIG_NEUTRON_OVS_TENANT_NETWORK_TYPE=gre
CONFIG_NEUTRON_OVS_TUNNEL_RANGES=1:1000
CONFIG_NEUTRON_OVS_TUNNEL_IF=eth1
・NICを利用したいものに変更する

CONFIG_NOVA_COMPUTE_PRIVIF=eth0
CONFIG_NOVA_NETWORK_PRIVIF=eth0
CONFIG_NOVA_NETWORK_PUBIF=eth1
・Dashboardにアクセスするパスワード
CONFIG_KEYSTONE_ADMIN_PW=admin
・テスト用demoユーザーとかネットワークを作らないようにする
CONFIG_PROVISION_DEMO=n
・IPアドレスを内向きのネットワークに変更する
192.168.1.11 -> 192.168.0.11
viで一括文字列置換えを行う場合
:%s/192.168.1.11/192.168.0.11/gc
replace with 192.168.0.11 (y/n/a/q/l/^E/^Y)?
（上書き問い合わせに対して、yと入力していく）
・Cinder Volumeの場所を設定する
デフォルトはlvmに設定されているので、適宜設定を行う。
（例）NFSを設定
# The Cinder backend to use, valid options are: lvm, gluster, nfs
CONFIG_CINDER_BACKEND=nfs
# A single or comma seprated list of NFS exports to mount, eg: ip-
# address:/export-name
CONFIG_CINDER_NFS_MOUNTS=192.168.0.10:/nfs
Step 9: RDOによるOpenStackのインストール
設定を書き換えたアンサーファイルを使ってOpenStackを導入するには、次のようにアン
サーファイルを指定して実行します。
>--
# packstack --answer-file=/root/answer.txt
（略）
Installing:
Clean Up... [ DONE ]
Setting up ssh keys...root@192.168.0.11's password:
root@192.168.0.12's password:
（ノード毎のrootアカウントパスワードを入力）
--<
Step 10: ネットワークの設定
次に外部と通信できるようにするための設定を行います。
http://openstack.redhat.com/Neutron_with_existing_external_network

◆public用として使うNICの設定ファイルを修正
packstack実行後、eth1をbr-exにつなぐように設定をします(※BOOTPROTOは設定しな
い)
eth0からIPアドレス、サブネットマスク、ゲートウェイの設定を削除して次の項目だけを
記述し、br-exの方に設定を書き込みます｡
>--
# vi /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
ONBOOT=yes
HWADDR=52:54:00:92:05:AE # your eth0's hwaddr
TYPE=OVSPort
DEVICETYPE=ovs
OVS_BRIDGE=br-ex
--<
◆ブリッジインターフェイスの作成
br-exにeth1のIPアドレスを設定します。
>--
# vi /etc/sysconfig/network-scripts/ifcfg-br-ex
DEVICE=br-ex
ONBOOT=yes
DEVICETYPE=ovs
TYPE=OVSBridge
BOOTPROTO=none
IPADDR=192.168.1.11
NETMASK=255.255.255.0 # netmask
GATEWAY=192.168.1.1 # gateway
DNS1=8.8.8.8 # nameserver
DNS2=8.8.4.4
--<
neutron/plugin.iniに次の設定がされていることを確認します。
>--
# vi /etc/neutron/plugin.ini
[OVS]
vxlan_udp_port=4789
tunnel_type=gre
tunnel_id_ranges=1:1000
tenant_network_type=gre
local_ip=192.168.0.11
enable_tunneling=True
integration_bridge=br-int

tunnel_bridge=br-tun
[AGENT]
polling_interval=2
[SECURITYGROUP]
firewall_driver=neutron.agent.linux.iptables_firewall.OVSHybridIptab
lesFirewallDriver
--<
ここまでできたらいったん各ノードを再起動します。
>--
# reboot
--<
■OpenStackの構成を行う
Step 11: ネットワークの追加
br-exにeth1を割り当てて仮想マシンをハイパーバイザー外部と通信できるようにする為
の経路が確保されていることを確認します。
>--
# ovs-vsctl show
903f6cd5-29f3-4b8d-9cda-3411ddf98ecb
Bridge br-int
Port "qr-4c4fb9f1-a6"
tag: 1
Interface "qr-4c4fb9f1-a6"
type: internal
Port br-int
Interface br-int
type: internal
Port "tap80d3399f-1e"
tag: 1
Interface "tap80d3399f-1e"
type: internal
Bridge br-ex
Port "qg-bca7776d-14"
Interface "qg-bca7776d-14"
type: internal
Port br-ex
Interface br-ex
type: internal
Port "eth0"
Interface "eth0"
ovs_version: "1.11.0"
--<
OSやハードウェア側の設定が終わったら、OpenStackが利用するネットワークを作成して

みましょう｡OpenStackにおけるネットワークの設定は以下の順で行います｡
・ルーターを作成
・ネットワークを作成
・ネットワークサブネットを作成
OpenStackの環境構成をコマンドで実行する場合は、/root/keystonerc_adminファイ
ルをsourceコマンドで読み込んでから実行してください｡
>--
# source keystonerc_admin
—<
それでは順に行っていきましょう｡
◆ルーターの作成
ルーターの作成は次のようにコマンドを実行します。
>--
# neutron router-create router1
Created a new router:
（略）
--<
◆ネットワークの作成
ネットワークの作成は次のようにコマンドを実行します。
・パブリックネットワークの場合
>--
# neutron net-create public --tenant-id
2b0260a2580842abab33b56dae6a145f --router:external=True
Created a new network:
（略）
--<
net-createコマンドの先頭にはまずネットワーク名を記述します｡tenant-idは
「keystone tenant-list」で出力される中から「テナント」を指定します。
router:external=Trueは外部ネットワークとして指定するかしないかを設定します｡プ
ライベートネットワークを作る場合は指定する必要はありません｡
・プライベートネットワークの場合
>--
# neutron net-create demo-net --tenant-id
20a6abed5e8549f29a76fa26b2b1c8db --shared
Created a new network:
（略）
--<

ネットワークを共有するには--sharedオプションを付けて実行します｡
◆ネットワークサブネットの登録
ネットワークで利用するサブネットを定義します｡
>--
# neutron subnet-create --name public_subnet --enable_dhcp=False --
allocation-pool=start=192.168.1.241,end=192.168.1.254 --
gateway=192.168.1.1 public 192.168.1.0/24
Created a new subnet:
（略）
--<
これでpublic側ネットワークにサブネットなどを登録することができました｡
次にdemo-net（プライベート）側に登録してみます。
>--
# neutron subnet-create --name demo-net_subnet --enable_dhcp=True --
gateway=192.168.0.1 --dns-nameserver 8.8.8.8 demo-net 192.168.0.0/24
Created a new subnet:
（略）
--<
◆ゲートウェイの設定
作成したルーター(router1)とパブリックネットワークを接続するため、「ゲートウェイ
の設定」を行います｡
>--
# neutron router-gateway-set router1 public
Set gateway for router router1
--<
◆外部ネットワークと内部ネットワークの接続
最後にプライベートネットワークを割り当てたインスタンスがFloating IPを割り当てら
れたときに外に出られるようにするために「ルーターにインターフェイスの追加」を行いま
す｡
>--
# neutron router-interface-add router1 subnet=demo-net_subnet
Added interface xxxx-xxxx-xxxx-xxxx-xxxx to router router1.
--<
routerはneutron router-listコマンドで確認、サブネットはneutron subnet-
listコマンドで確認することができます。

Step 12: ユーザーの追加
次に、ユーザーの追加を行います｡
ユーザーを作成する前にユーザーをどのテナント、つまりどのグループに追加するか考えま
す。作成したテナントにロール、つまり権限を割り振ることで指定した権限を持つユーザー
をテナントに追加できます。
ここでは例として、demoというテナントを作り、そのテナントにdemoユーザーを追加する
流れを説明します。demoユーザーには利用に最低限必要なMemberの権限を割り当てます。
まず、登録済みのテナントを確認します。
>--
# keystone tenant-list
+----------------------------------+----------+---------+
| id | name | enabled |
+----------------------------------+----------+---------+
| 2b0260a2580842abab33b56dae6a145f | admin | True |
| 20a6abed5e8549f29a76fa26b2b1c8db | services | True |
+----------------------------------+----------+---------+
（テナントリストの表示）
--<
次にテナントを登録します。
>--
# keystone tenant-create --name demo --description demo-tenant --
enable true
（テナントdemoの作成）
--<
追加したテナントが登録されていることを確認します。
>--
+----------------------------------+----------+---------+
| id | name | enabled |
+----------------------------------+----------+---------+
| 2b0260a2580842abab33b56dae6a145f | admin | True |
| f1217f04d6f94a7ca3df1f4d6122322d | demo | True |
| 20a6abed5e8549f29a76fa26b2b1c8db | services | True |
+----------------------------------+----------+---------+
（テナントの確認）
--<
demoユーザーを作成してみます。パスワードはdemoにします。
>--
# keystone user-create --name demo --pass demo --tenant demo --email

demo@example.com --enabled true
--<
ユーザー作成コマンドはkeystone user-createです。
パラメータはいくつかあるので--helpで確認。--nameがユーザー名、--passがパスワー
ド、--tenantはテナント(Horizonではプロジェクト)名、--enabledは有効化の可否を
指定します｡
なぜかMemberロールが作られず、それのせいで一部の設定にアクセスできず、エラーとな
るのでロールを追加します（バグ？）。
>--
# keystone role-create --name Member
--<
tenantはHorizonで登録されている「プロジェクト」を確認するか、keystone
tenant-listコマンドで確認できます。
ユーザーに特定のロールを割り当てる場合は、次のように実行します｡
>--
# keystone user-role-add --user demo --tenant demo --role Member
(demoユーザーをdemoテナントに追加してMemberロールを割り当て)
--<
ロールはkeystone role-listコマンドで確認できます｡
作成したテナント、ユーザーを最後に確認しましょう。
>--
（テナントリストの確認）
# keystone user-list
（ユーザーリストの確認）
--<
以上で、ユーザーdemoでOpenStack環境を利用可能になります。
ユーザーはadminユーザーが設定した共有ネットワークを使ってインスタンスでネットワー
ク接続できます。また、Floating IPを割り当てることで外部PCからインスタンスにアク
セスできます。
もちろん、ユーザーが独自のネットワークを作ることもできます。その場合は次のように行
います。
・ルーターを作成
・サブネットを作成
・作成したサブネットとルーターをpublicネットワークとつなぐ

Step 13: Cinder-Volumeの設定
バックエンドとしてNFSを指定したのでこれを設定します｡
・設定の準備
>--
# cd /etc/cinder/
# touch nfs_shares
# echo "192.168.0.10:/nfs" > nfs_shares
# chown root:cinder nfs_shares
# chmod 0640 nfs_shares
--<
・設定の変更
>--
# openstack-config --set /etc/cinder/cinder.conf
DEFAULT nfs_shares_config /etc/cinder/nfs_shares
DEFAULT nfs_sparsed_volumes true
DEFAULT volume_driver cinder.volume.drivers.nfs.NfsDriver
--<
詳細は以下参照。
https://access.redhat.com/site/documentation/en-US/
Red_Hat_Enterprise_Linux_OpenStack_Platform/3/html/
Installation_and_Configuration_Guide/
Configuring_for_NFS_Storage.html
Step 14: Novaの設定変更
デフォルト設定のままインストールした場合、Novaは仮想化基盤にqemuを利用するように
なっています。パフォーマンスを上げるには以下のように設定を変更します。
KVMモジュールが読み込まれていることを確認します。
>--
# lsmod | grep kvm
kvm_intel 54285 6
kvm 332980 1 kvm_intel
(Intel CPUの場合)
kvm 332980 1 kvm_amd
(AMD CPUの場合)
# vi /etc/nova/nova.conf
（略）
libvirt_type=kvm
#libvirt_type=qemu

（設定を変更）
--<
■動作確認
・「セキュリティグループ」でICMPとSSHを有効化
・インスタンスを起動
・ボリュームの作成
・ボリュームをインスタンスに接続
・dmesg | grep vdでディスク認識を確認
利用するインスタンスは以下からダウンロードできます。
Cirros
http://download.cirros-cloud.net
※0.3.1以上のバージョンを利用してください｡
CentOS
http://repos.fedorapeople.org/repos/openstack/guest-images/
Fedora
http://fedoraproject.org/en/get-fedora#clouds
Ubuntu
http://cloud-images.ubuntu.com
・Floating IPをインスタンスに割り当て
・ホストにSSHアクセスしてそこからインスタンスにアクセス
■FAQ
Q1:RDOで環境構築中、タイムアウトエラーがおき、スクリプトが停止しました。
A1:何も設定変更を加えずにもう一度実行し直すと上手くいく場合があります。
ネットワークアクセスと名前解決が頻繁にあり、それらが上手くいかないとスクリプトが途
中で終了することがあるようです。
Q2:ゲートウェイがDOWNなんですけど
A2:無視
Q3:ステータスを確認するには？
A3:openstack-statusコマンドを実行！

Q4:openstack-statusコマンドを実行するとサービスの一部が動いていないようです
A4:「RDO Neutron Quickstart」の末尾に注意書きがあります
If you installed the updated kernel and rebooted prior to running
packstack, everything should work. If you installed the updated
kernel as part of running packstack, you will need to reboot when
packstack completes to boot into the new kernel. This reboot will
cause br-ex to reset, so after the reboot you will need to re-run
packstack as shown below:
>--
# packstack --answer-file=~/packstack-answers-*.txt
--<
同じアンサーファイルを使って、もう一度packstackを実行すると良いようです。
Q5:仮想ネットワークを作り直したい
A5:手順はこんな感じ
>--
# source /root/keystonerc_admin
# neutron router-gateway-clear router1
# neutron subnet-delete public_subnet
--<
※Floating IPが発行されているとneutron subnet-deleteコマンドの実行に失敗する
作り直して再割り当て
>--
# neutron subnet-create --name public_subnet --enable_dhcp=False --
gateway=192.168.1.1 public 192.168.1.0/24
--<
Q6:日本語キーボードがつかえない
A6:コンピュートノードのnova.confに以下のように追記
>--
# vi /etc/nova/nova.conf
（略）
# keymap for vnc (string value)
#vnc_keymap=en-us
vnc_keymap=ja #追加する行
# service openstack-nova-compute reload
--<

※ただし、OS側が日本語キーボードに対応している必要がある。
（Cirrosは日本語キーボードを英語キーマップ認識で利用可能）
Q7:作成したdemoユーザーの権限でコマンド操作するには
A7:keystonerc_adminを編集して利用します
>--
# cp /root/keystonerc_admin /root/keystonerc_demo
（keystonercをコピー）
# vi /root/keystonerc_demo
export OS_USERNAME=demo
export OS_TENANT_NAME=demo
export OS_PASSWORD=demo
export OS_AUTH_URL=http://192.168.1.11:35357/v2.0/
export PS1='[u@h W(keystone_demo)]$ '
--<
設定箇所
・export OS_USERNAMEをdemo
・export OS_TENANT_NAMEをdemo
・export OS_PASSWORDをdemoユーザー作成時に設定したパスワード
・export PS1をkeystone_demoに設定
Q8:マルチノードでやるには
A8:以下公式ドキュメントを参照。
http://openstack.redhat.com/Adding_a_compute_node
Q9:ボリュームの削除をすると状態が「Error_Deleting」のまま、いつまでたっても変
わらない
A9:検索すると類似例がいくつか見つかります｡次の手順で対処可能です｡
【error_deleting関連】
https://bugzilla.redhat.com/show_bug.cgi?id=888987
https://bugs.launchpad.net/cinder/+bug/1039706
https://ask.openstack.org/en/question/1378/cannot-remove-volume/
>--
# cinder list
+--------------------------------------+----------------
+--------------+--
| ID | Status | Display
Name |
+--------------------------------------+----------------

+--------------+--
| 66f7139e-82c7-4d29-9c17-fe43dd42cac7 | error_deleting | disk01
|
+--------------------------------------+----------------
+--------------+--
# mysql -u cinder -p -D cinder
Enter password:
（パスワードはanswer.txtの"CONFIG_CINDER_DB_PW"の値を入力）
Type 'help;' or 'h' for help. Type 'c' to clear the current input
statement.
mysql> delete from volumes where id = '66f7139e-82c7-4d29-9c17-
fe43dd42cac7';
（削除）
# cinder list
（なくなったことを確認）
--<
以上の手順を実行することで、error_deleting状態の異常なSQLデータを削除できま
す。
この方法ではSQLの登録データを削除しただけなので、別途手動でイメージボリュームを削
除する必要があります｡
本来なら、「cinder delete」や「cinder force-delete」コマンドを使って、作成
したボリュームを削除できるはずですが、なんらかの理由により削除できなくなった場合は
この手段で削除できます｡

Havana版 RDO-QuickStart-3 (140421-Havana-RDO-QuickStart-3.pdf)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Havana版 RDO-QuickStart-3 (140421-Havana-RDO-QuickStart-3.pdf)

Similar to Havana版 RDO-QuickStart-3 (140421-Havana-RDO-QuickStart-3.pdf) (20)

More from VirtualTech Japan Inc.

More from VirtualTech Japan Inc. (20)

Havana版 RDO-QuickStart-3 (140421-Havana-RDO-QuickStart-3.pdf)