中海集装箱天津有限公司塘沽片区虚拟化实施报告

中海信息系统有限公司
CHINA SHIPPING INFORMATION SYSTEMS CO.,LTD
地址：上海市虹口区东大名路 700 号 8 楼邮编：200080
电话：8621－65966830，65966836 传真：8621－65966837
第 1 页共 33 页
中海集装箱天津有限公司
塘沽片区虚拟化实施报告
2011 年 7 月 4 日

电话：8621－65966830，65966836 传真：8621－65966837
第 2 页共 33 页
目录
1. 概述....................................................................................................................................................................................3
1.1. 项目概述 ..................................................................................................................................................................3
1.2. 报告导读 ..................................................................................................................................................................3
2. 项目背景...........................................................................................................................................................................4
2.1. 中海集运天津公司塘沽片区信息系统环境简介...........................................................................................4
3. 详细实施过程..................................................................................................................................................................5
3.1. 一、EQUALLOGIC 的初始化...............................................................................................................................5
3.2. 二、EQUALLOGIC 的配置 ...................................................................................................................................7
3.3. 三、VMWARE 连接 EQ 的配置.......................................................................................................................11
3.4. 四、格式化，创建相应的 VMFS....................................................................................................................16
3.5. 五、配置 ESX 主机实现 HA............................................................................................................................21
3.5.1 创建数据中心......................................................................................................................................................21
3.5.2 数据中心添加 ESX 主机 ...................................................................................................................................21
3.5.3 创建主机群集......................................................................................................................................................22
4. 服务器检查报告 ...........................................................................................................................................................29
5. 数据库部署报告 ...........................................................................................................................................................30
6 备份策略..............................................................................................................................................................................32
7 CARGO 程序维护.............................................................................................................................................................33

电话：8621－65966830，65966836 传真：8621－65966837
第 3 页共 33 页
1. 概述
1.1. 项目概述
本项目是由天津集运在塘沽片区投资内贸 CARGO 系统的一期新硬件设备
平台。由 DELL 公司及中海信息在一周时间内共同完成服务器部署、数据库迁
移等工作。天津集运塘沽片区的 CARGO 系统已从物理迁移到、一个具有高度
扩充能力，并且带有良性资源循环的架构体系。
1.2. 报告导读
本方案主要由以下部分组成：
1、概述
2、项目背景
3、详细实施过程
4、服务器检查报告
5、数据库部署报告
6、备份策略
7、程序维护

电话：8621－65966830，65966836 传真：8621－65966837
第 4 页共 33 页
2. 项目背景
2.1. 中海集运天津公司塘沽片区信息系统环境简介
中国海运集装箱天津运输有限公司之前 CARGO 业务系统部署在 5 台 2003 年左右
采购的 DELL 服务器上。其中 3 台服务器采用 LINUX 操作系统，分别部署了内贸、箱
管（网上订舱）、JBOSS 应用服务器等。另外还有 2 台 DELL 服务器左右内贸单证、及
箱管应用服务器。所有业务数据均保存在本地硬盘中，数据安全与运算性能的降低，以
及随之带来的高昂的维修和维护成本等风险。天津集运公司于 2010 年通过采购计划，
购买了 2 台 DELL R910 服务器及一台 EQLOGIC 存储，以及 2 台千兆交换机。
至此，塘沽片区在进行虚拟化改造后，完成了如下目标：
 PC 服务器整合，基本将 5 台业务系统主机和应用服务器整合到 2 台物理服务器
上，充分利用高性能服务器的资源。
 数据安全保护，将操作系统和业务数据都部署在 SAN 环境中，并另外定期做数
据备份，保护数据安全。
 简化服务器管理，能通过集中的管理端来快速解决问题，良好的业务架构和规划
使得服务器的管理更细致。
 备份管理，能按时通过数据库备份脚本来备份数据库备份文件，在初次安装时备
份虚拟服务器镜像封装文件。

电话：8621－65966830，65966836 传真：8621－65966837
第 5 页共 33 页
3. 详细实施过程
3.1. 一、EqualLogic 的初始化
1.启动初始化软件
点击”开始”.”程序”，双击”EqualLogic”.”Remote Setup Wizard”，如图：
2.初始化软件会自动扫描到存储设备的 Seril Number 等相关信息。

电话：8621－65966830，65966836 传真：8621－65966837
第 6 页共 33 页
3.设置 EQ 参数
4.设定新的 GROUP 名称.IP.密码以及 Membership password 等。

电话：8621－65966830，65966836 传真：8621－65966837
第 7 页共 33 页
5.完成 EQ 的初始化。
6.初始化完成，成功创建 Group。
3.2. 二、EqualLogic 的配置
1.在客户端用 IE 登录 EQ（需要 J2RE 1.6），在地址栏输入 EQ 的 groupIP 即可，出现如图界面，
输入 grpadmin 及 password
2.时区的配置，方便在以后管理中查看事件日志。

电话：8621－65966830，65966836 传真：8621－65966837
第 8 页共 33 页
3.Member 网卡的 IP 配置。输入 IP.Netmask.Gateway。
4.Volume 的划分。
（1）右键单击”Volume”.”Create Volume”。输入 Volume name,单击”Next”,继续。

电话：8621－65966830，65966836 传真：8621－65966837
第 9 页共 33 页
（2）输入 Volume Size,这里采用精简模式。单击”Next”,继续。
（3）这里先选择“No access”允许不同的 initiators 用不同的 IQN 来连接存储。

电话：8621－65966830，65966836 传真：8621－65966837
第 10 页共 33 页
（4）Volume 的建立完成。

电话：8621－65966830，65966836 传真：8621－65966837
第 11 页共 33 页
3.3. 三、VMware 连接 EQ 的配置
为 iscsi 存储添加独立的 vSwitch,通过 ssh 远程登录到 ESX 主机中，使用命令行来添加，命令：
esxcfg-vswitch --add vSwitch1
将 vSwitch 的 MTU 值调整为：9000，命令：esxcfg-vswitch -m 9000 vSwitch1
将用于传输 iscsi 的 vmnic4.vmnic5 添加到 vSwitch1 当中。命令：esxcfg-vswitch -Lvmnic4
vSwitch1.esxcfg-vswitch -Lvmnic5 vSwitch1 如图：
configure the IP Address, Subnet Mask and enable Jumbo Frame supportfor the new VMkernel Port
iSCSI1.iSCSI2.iSCSI3.iSCSI4。Comand:
esxcfg-vswitch -AiSCSI1 vSwitch1

电话：8621－65966830，65966836 传真：8621－65966837
第 12 页共 33 页
5.create 5 more VMkernel Ports named iSCSI2, iSCSI3, iSCSI4, iSCSI5 and iSCSI6.
Then configure the IP Addresses, subnet masks and enable Jumbo Frames.
esxcfg-vmknic -a -i 192.168.100.210 -n 255.255.255.128 -m 9000 iSCSI1
6.verify the configuration enter the following command:
[root@localhost ~]# esxcfg-vswitch -l
Switch Name Num Ports Used Ports Configured Ports MTU Uplinks
vSwitch0 128 3 128 1500 vmnic0
PortGroup Name VLAN ID Used Ports Uplinks
VM Network 0 0 vmnic0
Service Console 0 1 vmnic0
Switch Name Num Ports Used Ports Configured Ports MTU Uplinks
vSwitch1 128 7 128 9000 vmnic4,vmnic5
PortGroup Name VLAN ID Used Ports Uplinks
iSCSI4 0 1 vmnic4,vmnic5

电话：8621－65966830，65966836 传真：8621－65966837
第 13 页共 33 页
7.Bindingvmnics to VMkernel Ports
esxcfg-vswitch –p iSCSI1 –N vmnic4 vSwitch1
8.开启iscsi软件适配器 esxcfg-swiscsi -e

电话：8621－65966830，65966836 传真：8621－65966837
第 14 页共 33 页
9.discover all SCSI devices，including the iSCSI software adapter
esxcfg-scsidevs –a
10.map each VMkernel Port to the iSCSI
Software Initiator. This is done through the CLI by typing the following command
esxcliswiscsinic add -n vmk1 -d vmhba37
11.添加存储的Group IP

电话：8621－65966830，65966836 传真：8621－65966837
第 15 页共 33 页
12.在EQ中，修改Volume的ACL，添加ESX主机的IQN：iqn.1998-01.com.vmware:localhost-29530a95，
重新扫描软件适配器。

电话：8621－65966830，65966836 传真：8621－65966837
第 16 页共 33 页
13.查看多路径效果，方式为循环。这里Multpath为4条。
3.4. 四、格式化，创建相应的 VMFS
1.选择”存储器”，添加”存储器”。

电话：8621－65966830，65966836 传真：8621－65966837
第 17 页共 33 页
2.选择”磁盘/LUN”,单击”Next”
3.选择其中一个LUN。

电话：8621－65966830，65966836 传真：8621－65966837
第 18 页共 33 页
4.输入datastore的名称，这里为：vdisk1.vdisk2。

电话：8621－65966830，65966836 传真：8621－65966837
第 19 页共 33 页
5.选择最大的文件大小，2T。
6.添加完成。

电话：8621－65966830，65966836 传真：8621－65966837
第 20 页共 33 页
7.同样的方法为另一台ESX主机vcscl2重新扫描存储适配器当中的软件iscsi适配器，添加之前已经格
式化完毕并可以使用的存储器。

电话：8621－65966830，65966836 传真：8621－65966837
第 21 页共 33 页
3.5. 五、配置 ESX 主机实现 HA
3.5.1 创建数据中心
3.5.1 打开 VMware Client，输入 Vcenter 的管理员账号和密码，登录到 Vcenter 当中。
3.5.2 单击”新建数据中心”
3.5.3 这里输入数据中心名称为 CSCLTG
3.5.2 数据中心添加 ESX 主机
3.5.2 单击”添加主机”，打开添加主机向导，输入 ESX 主机的 IP 地址、账号、密码。

电话：8621－65966830，65966836 传真：8621－65966837
第 22 页共 33 页
3.5.3 添加完成之后可以看到树结构，2 台 ESX 主机为：10.16.34.3、10.16.34.4
3.5.3 创建主机群集
3.5.3 右键单击数据中心，选择新建群集
3.5.4 输入群集名称这里为：esx-ha，这里暂时不勾选打开 VMware HA 和 DRS

电话：8621－65966830，65966836 传真：8621－65966837
第 23 页共 33 页
3.5.5保持默认，禁用EVC功能，处理器型号可能在其提供的CPU 功能方面不同，在虚拟机中运行的
应用程序可以利用这些功能。因此，无法使用VMotion® 在具有不同功能集的处理器上运行的系统
之间迁移虚拟机。在某些情况下，通过将增强型VMotion
兼容性 (EVC) 用于支持此功能的处理器，可以避免此限制，因为这里的两台ESX主机CPU配置是一
样的，所以不需要开启EVC功能。

电话：8621－65966830，65966836 传真：8621－65966837
第 24 页共 33 页
3.5.4 此时群集建完之后是一个空的群集，我们需要将 2 台 ESX 主机添加到群集当中来
3.5.5 单击”添加主机”

电话：8621－65966830，65966836 传真：8621－65966837
第 25 页共 33 页
3.5.6 编辑群集，打开 VMware HA 功能，因为这里的 ESX 主机版本为标准版，不含有 DRS 功能，
所以这里不勾选 VMware DRS，单击”确定”。

电话：8621－65966830，65966836 传真：8621－65966837
第 26 页共 33 页
3.5.7 这里会有黄色警示灯，因为群集创建过程正在向各个 ESX 主机安装配置 HA 代理。
3.5.8 群集配置完成之后，状态恢复正常。
3.5.9 虚拟机选项，这里保持默认即可。

电话：8621－65966830，65966836 传真：8621－65966837
第 27 页共 33 页
3.5.10 启用虚拟机监控功能，敏感度调为低。

电话：8621－65966830，65966836 传真：8621－65966837
第 28 页共 33 页

电话：8621－65966830，65966836 传真：8621－65966837
第 29 页共 33 页
4. 服务器检查报告
ESX 服务器日志检查空间检查说明
10.16.34.3 正常
10.16.34.4 正常
Vcenter 服务器
Vcenter 系统日
志警报任务与事件 HA 的状态
10.16.34.21 正常正常正常无切换
虚拟服务器日志检查空间检查说明
10.16.34.10 正常正常 Vcscltg_Appeds
10.16.34.22 正常正常 Vcscltg_Appems
10.16.34.25 正常正常 Vcscltg_edsdbserver (RED HAT)
10.16.34.23 正常正常 Vcscltg_emsdbserver (RED HAT)
10.16.34.26 正常正常 Vcscltg_JBOSS (RED HAT)
其他服务器日志检查空间检查说明
10.16.34.9 正常正常单证应用
10.16.34.15 正常正常单证应用
10.16.34.16 正常正常外贸 CARGO 应用
10.16.34.24 正常正常内贸应用
10.16.34.28 正常正常数据库冷备机
10.16.34.1 正常正常域控 DNS

电话：8621－65966830，65966836 传真：8621－65966837
第 30 页共 33 页
5. 数据库部署报告
数据库维护
SID EDSDB SCHEMA EDS
项目情况说明
检查表空间新创建见右表
缓冲命中率正常
alert_log* 正常
listener_log 正常
表数据字典统计分析时间 6/30/2011
索引数据字典统计分析时间 6/30/2011
说明：参数调整
Shard Pool Size 500MB Open cursors 1000
Buffer Cahche Size 500MB processes 600
Java Pool Size 100MB sessions 600
Large Pool Size 100MB catpatch.sql YES
PGA Size 500MB
archive 文件存放位置 /oradata/archive
init 文件存放位置 /oradata/init/pfile
trace 文件存放位置 /oradata/trace
control 文件存放位置 /oradata/EDSDB
DATA 文件存放位置 /oradata/EDSDB
检查人：周巳佳检查时间： 7/1/2011
数据库维护
SID EDSECDB SCHEMA EMS EDS
项目情况说明
检查表空间新创建见右表
缓冲命中率正常
alert_log* 正常
listener_log 正常
表数据字典统计分析时间 6/30/2011
索引数据字典统计分析时间 6/30/2011
说明：参数调整
Shard Pool Size 500MB Open cursors 1000
Buffer Cahche Size 600MB processes 600
Java Pool Size 64MB sessions 600
Large Pool Size 100MB catpatch.sql YES
PGA Size 400MB
archive 文件存放位置 /oradata/archive

电话：8621－65966830，65966836 传真：8621－65966837
第 31 页共 33 页
init 文件存放位置 /oradata/init/pfile
trace 文件存放位置 /oradata/trace
control 文件存放位置 /oradata/EDSECDB
DATA 文件存放位置 /oradata/EDSECDB
检查人：周巳佳检查时间： 7/1/2011
表空间 EDS：
TABLESPACE_NAME total_size(MB) used_size(MB) free_size(MB) USED_RATE
1 EXAMPLE 138 137.562 0.438 99.59%
2 SYSTEM 440 434.062 5.938 98.65%
3 XDB 47 44.375 2.625 94.67%
4 CWMLITE 20 17.562 2.438 87.81%
5 USERS 20460 14548.625 5911.375 71.11%
6 DRSYS 20 9.687 10.313 48.44%
7 ODM 20 9.375 10.625 46.88%
8 INDX 4092 1209.375 2882.625 29.55%
9 UNDOTBS1 2048 22.375 2025.625 1.09%
10 TOOLS 10 0.062 9.938 0.62%
表空间 EMS_EDSEC
TABLESPACE_NAME total_size(MB) used_size(MB) free_size(MB) USED_RATE
1 EXAMPLE 138 137.562 0.438 99.59%
2 SYSTEM 440 432.062 7.938 98.20%
3 XDB 47 44.375 2.625 94.67%
4 CWMLITE 20 17.562 2.438 87.81%
5 USERS 8184 5195.312 2988.688 63.48%
6 DRSYS 20 9.687 10.313 48.44%
7 ODM 20 9.375 10.625 46.88%
8 INDX 4092 1552.875 2539.125 37.95%
9 UNDOTBS1 2048 33.375 2014.625 1.63%
10 TOOLS 10 0.062 9.938 0.62%

电话：8621－65966830，65966836 传真：8621－65966837
第 32 页共 33 页
6 备份策略
备份检查维护
级别策略说明
存储卷 ESX 快照每 3 小时全部恢复存储卷到 3 小时前
数据库导出导出 DMP 文件每天 12 小时每天 1 点定时导出
虚拟机快照快照 6 月 29 日
可恢复单台虚拟机到操作
系统安装完毕状态

电话：8621－65966830，65966836 传真：8621－65966837
第 33 页共 33 页
7 CARGO 程序维护
在服务器虚拟化工作完成好之后，需要在新的服务器虚拟机环境中部署程序并进行测
试，主要工作如下:
1. 配置内贸，箱管的 APP 应用服务以及关联服务器，并进行内贸和箱管程序的测试。
2. 重新安装并配置内贸网上 JBOSS，并进行内贸网上平台功能的测试。
3. 与内贸，外贸以及箱管的操作人员一起针对系统存在的问题进行开会讨论，并予以解
答，同时对需要系统调整的问题做好记录，需要做进一步的分析后再进行解决。
4. 对箱管门禁程序刷卡时拆分费用功能进行了程序的调整，并部署给操作人员进行测
试。
5. 对箱管自动审核机自动接受进口的 EIR 功能进行了程序调整，并部署给操作人员进
行测试。
6. 针对箱管操作人员反馈的箱管动态导入存在的问题，进行了程序的调整。
7. 按照用户的格式要求，对于内贸的提单打印模板进行了调整。
8. 对内贸客户资料的结算单位选项进行了批量更新。

中海集装箱天津有限公司塘沽片区虚拟化实施报告

Recommandé

Recommandé

Contenu connexe

Similaire à 中海集装箱天津有限公司塘沽片区虚拟化实施报告

Similaire à 中海集装箱天津有限公司塘沽片区虚拟化实施报告 (20)

Plus de Yunchao (Kevin) Wang

Plus de Yunchao (Kevin) Wang (8)