如何部署高可用分布式非关系型数据库Cassandra?

Cassandra

1 理论基础

1.1 简介

Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集Google BigTable的数据模型与Amazon Dynamo的完全分布式架构于一身。Facebook于2008将Cassandra开源,此后,由于Cassandra良好的可扩展性和性能,被Apple Comcast Instagram Spotify eBay Rackspace Netflix等知名网站所采用,成为了一种流行的分布式结构化数据存储方案。
在数据库排行榜“DB-Engines Ranking”中,Cassandra排在第七位,是非关系型数据库中排名第二高的(仅次于MongoDB)。
– 可弹性扩展性,允许根据需求增加节点满足更多的客户端请求
– 业务高可用性,架构具有容灾设计避免单点故障造成业务中断
– 线性规模性能,吞吐量随着节点数量的增加而呈线性增长
– 灵活数据存储,可满足所有数据格式,包括结构化,半结构化和非结构化且可动态调整数据结构
– 轻松数据分发,通过在多个数据中心复制数据,提供灵活的分布数据

1.2 系统架构

1.2.1 架构目标

– 分担多个节点之间的大数据负载
– 避免单点故障

1.2.2 架构特点

– 群集中的角色都相同,每个节点相互独立但同时与其他节点互连
– 群集中的每个节点都可以接受读取和写入请求,而无需理会数据在群集中的实际位置
– 当单点故障发生时,客户端可以从群集中的其他非故障节点中提取或写入数据

1.2.3 数据复制


– Cassandra群集使用Gossip协议在节点间相互通讯和检测群集中的故障节点
– 群集中一或多个节点充当数据供给,如有过期节点Cassandra将最新数据返回给客户端并修复过期节点

1.2.4 关键部件介绍

– Node,指构成群集的成员服务器
– Data Center,群集中相关可用节点的集合
– Cluster,群集包含一个或多个数据中心
– Commit Lot,写入操作之前的记录日志,群集依赖日志做崩溃恢复。
– MemTable,驻留在内存中的数据结构,Commit Log后数据将写入到MemTable
– SSTable,当达到设定阈值,数据将从MemTable批量刷新到磁盘中存为SSTable
– Bloom filter,
— 二进制向量数据结构,它具有很好的空间和时间效率,
— 被用来检测一个元素是不是集合中的一个成员。
— 如果检测结果为是,该元素不一定在集合中;
— 但如果检测结果为否,该元素一定不在集合中。

1.2.5 数据写入流程

– 先记录日志(CommitLog)后写入数据
– 数据先写入到Column Family对应的Memtable中
– Memtable达到一定量时再批量刷新磁盘中存为SSTable
注:相当于缓存写回机制,它将随机IO转成顺序IO(降低存储压力)

1.3 数据模型

1.3.1 Colume


列是Cassandra中最小的数据单元,由以下元素组成:
– Name,唯一名称,用于引用列
– Value,列的内容,可以是不同的类型,如AsciiType,LongType,TimeUUIDType,UTF8Type等。
– TimeStamp,时间戳记,用于确定有效内容的系统时间戳
范例如下:

Name Value TimeStamp
“age” “18” 1270694041669000
“height” “172cm” 1270694041669000

注:一行为一个Colume

1.3.2 Super Column


超级列相当于Column的数组或集合,由Super Column name和一个或多个的Column构成。

Super Column Name Columns
StudentA Name Value TimeStamp
“age” “20” 1270694041669000
“height” “172cm” 1270694041669000

1.3.3 Column Family

列族是一个NoSQL的对象(相当于关系型数据库的表),它包含描述对象属性的相关Column或Super Column。
列族分类:
– 普通列族,以列来描述族的属性
– 超级列族,以超级列来描述族的属性

Column Family Key Columns
StudentA Name Value TimeStamp
“age” “20” 1270694041669000
“height” “172cm” 1270694041669000

1.3.4 KeySpace

键空间是Cassandra中数据的最外层容器,其基本属性有,
– Replication factor,集群中将接收相同数据副本的计算技术
– Replica placement strategy,定义环中的复制策略
— simple strategy,简单策略
— old network topology strategy,旧网络拓扑策略
— network topology strategy,网络拓扑策略
– Column families,列族(包含一个或多个列族)

1.3.5 总数据模型图

2 实践部分

2.1 环境信息

HostName = cassandra0[1-2].cmdschool.org
ipAddress = 10.168.0.5[1-2] OS = CentOS 7.3 x86_64

2.2 JDK安装

2.2.1 下载JDK包

In cassandra0[1-2]:

cd ~
wget http://download.oracle.com/otn/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.tar.gz?AuthParam=1495873209_eea482e2b59774918c970cf5dc383fdb

注:如需其他版本请参阅,http://www.oracle.com/technetwork/java/javase/archive-139210.html

2.2.2 创建java目录

In cassandra0[1-2]:

mkdir /usr/java

2.2.3 解压

In cassandra0[1-2]:

tar xf jdk-8u121-linux-x64.tar.gz
mv jdk1.8.0_121/ /usr/java/

2.2.4 配置环境变量

In cassandra0[1-2]:

vim /etc/profile.d/java.sh

加入如下内容:

export JAVA_HOME=/usr/java/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

2.2.5 配置生效

In cassandra0[1-2]:

source /etc/profile

2.2.6 环境变量测试

In cassandra0[1-2]:

java -version

2.3 安装Cassandra

2.3.1 先决条件检查

In cassandra0[1-2]:
1)JAVA检查

 java -version

显示如下:

java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)

2)python检查:

python --version

显示如下:

Python 2.7.5

2.3.2 下载安装包

In cassandra0[1-2]:

cd ~
wget https://mirrors.tuna.tsinghua.edu.cn/apache/cassandra/3.10/apache-cassandra-3.10-bin.tar.gz

2.3.3 解压安装包

In cassandra0[1-2]:

tar -xf apache-cassandra-3.10-bin.tar.gz

2.3.4 部署到程序目录

In cassandra0[1-2]:

mkdir /usr/cassandra
mv apache-cassandra-3.10 /usr/cassandra/

2.3.5 配置运行用户

In cassandra0[1-2]:

useradd -s /sbin/nologin -b /var/lib cassandra
chown -R cassandra:cassandra /usr/cassandra/apache-cassandra-3.10
chmod -R 770 /usr/cassandra/apache-cassandra-3.10

确认用户数据目录存在:

ls -ld /var/lib/cassandra/

显示如下:

drwx------. 6 cassandra cassandra 136 Jun  1 09:42 /var/lib/cassandra/

2.3.6 配置环境变量

In cassandra0[1-2]:
1)环境变量配置

vim /etc/profile.d/cassandra.sh

加入如下配置:

export CASSANDRA_HOME=/usr/cassandra/apache-cassandra-3.10
export CASSANDRA_PATH=${CASSANDRA_HOME}/bin
export PATH=${CASSANDRA_PATH}:$PATH

2)使环境变量生效

source /etc/profile

3)测试环境变量

cassandra -v

显示如下:

3.10

2.3.7 配置Cassandra的环境变量

In cassandra0[1-2]:
1)环境变量配置

cp -a /usr/cassandra/apache-cassandra-3.10/bin/cassandra.in.sh /usr/cassandra/apache-cassandra-3.10/bin/cassandra.in.sh.default
vim /usr/cassandra/apache-cassandra-3.10/bin/cassandra.in.sh

启用并修改如下配置:

# JAVA_HOME can optionally be set here
JAVA_HOME=/usr/java/jdk1.8.0_121

注:提示“Cassandra 3.0 and later require Java 8u40 or later.”时需要配置

2.4 配置Cassandra群集

2.4.1 环境变量配置

cp -a /usr/cassandra/apache-cassandra-3.10/conf/cassandra.yaml /usr/cassandra/apache-cassandra-3.10/conf/cassandra.yaml.default
vim /usr/cassandra/apache-cassandra-3.10/conf/cassandra.yaml

修改如下配置:
In cassandra01:

cluster_name: 'Cassandra Cluster'
seed_provider:
- seeds: "10.168.0.51,10.168.0.52"
listen_address:  10.168.0.51
rpc_address: 10.168.0.51
start_rpc: true

data_file_directories:
    - /var/lib/cassandra/data
commitlog_directory: /var/lib/cassandra/commitlog
saved_caches_directory: /var/lib/cassandra/saved_caches
In cassandra02:
cluster_name: 'Cassandra Cluster'
seed_provider:
- seeds: "10.168.0.51,10.168.0.52"
listen_address:  10.168.0.52
rpc_address: 10.168.0.52
start_rpc: true

data_file_directories:
    - /var/lib/cassandra/data
commitlog_directory: /var/lib/cassandra/commitlog
saved_caches_directory: /var/lib/cassandra/saved_caches

注:seeds的配置允许只写其他节点的IP,不写本机IP。

2.4.2 配置cassandra-env环境脚本

cp -a /usr/cassandra/apache-cassandra-3.10/conf/cassandra-env.sh /usr/cassandra/apache-cassandra-3.10/conf/cassandra-env.sh.default
vim /usr/cassandra/apache-cassandra-3.10/conf/cassandra-env.sh

修改配置如下:
In cassandra0[1-2]:

MAX_HEAP_SIZE="1G"
HEAP_NEWSIZE="256M"

2.5 防火墙配置

In cassandra0[1-2]:

firewall-cmd --permanent --add-port 7000/tcp
firewall-cmd --permanent --add-port 9042/tcp
firewall-cmd --reload
firewall-cmd --list-all

2.6 服务的控制

2.6.1 测试服务启动

In cassandra0[1-2]:

sudo -u cassandra /usr/cassandra/apache-cassandra-3.10/bin/cassandra -f

看到如下信息则服务正常启动:

INFO  [Thread-2] 2017-06-01 10:51:47,640 ThriftServer.java:133 - Listening for thrift clients...

注:按下[Ctrl+C]可结束进程

2.6.2 确认服务正常启动

In cassandra0[1-2]:

pgrep -u cassandra -f cassandra

显示PID如下:

2596

2.6.3 检查群集的状态

In cassandra0[1-2]:

nodetool status

信息显示如下:

Datacenter: datacenter1
=======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address      Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.168.0.51  213.63 KiB  256          100.0%            6faefd3b-e2cf-4477-a1c1-922d4f10b7a5  rack1
UN  10.168.0.52  103.69 KiB  256          100.0%            3cc4fdd7-53a0-4a67-be7f-fbe1cd8d0571  rack1

2.6.4 测试连接

In cassandra02:

cqlsh -ucassandra -pcassandra 10.168.0.51
cqlsh -ucassandra -pcassandra 10.168.0.52

2.6.5 结束进程

In cassandra0[1-2]:

pkill -f cassandra

2.6.6 配置服务控制脚本

In cassandra0[1-2]:

vim /etc/init.d/cassandrad

输入如下内容:

#!/bin/bash
# chkconfig: 2345 55 25

user="cassandra"

status() {
        if [ ! `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
                echo "statusChecking for service cassandra running"
                exit 0
        else
                echo "statusChecking for service cassandra not running"
                exit 1
        fi
}

start() {
        if [ `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
                sudo -u $user /usr/cassandra/apache-cassandra-3.10/bin/cassandra > /dev/null
                for ((i=60; i>=0; i--)) do
                        sleep 1s
                        if [ ! `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
                                echo "start service cassandra finish"
                                break & exit 0
                        fi
                        if [ $i -eq 0 ]; then
                                echo "start service cassandra failed"
                                exit 1
                        fi
                done
        fi
}

stop() {
        if [ ! `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
                pgrep -u $user -f cassandra | xargs kill -9
                for((i=60; i>=0; i--)) do
                        sleep 1s
                        if [ `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
                                echo "stop service cassandra finish"
                                break & exit 0
                        fi
                        if [ $i -eq 0 ]; then
                                echo "stop service cassandra failed"
                                exit 1
                        fi
                done
        fi
}

case "$1" in
        start)
                start
        ;;
        stop)
                stop
        ;;
        restart)
                stop
                start
        ;;
        status)
                status
        ;;
        *)
                echo "Usage: $0 {start|stop|restart|status}"
                exit 1
esac

授权启动脚本:

chmod +x /etc/init.d/cassandrad

2.6.7 配服务自动启动和启动服务

In cassandra0[1-2]:

chkconfig cassandrad on
/etc/init.d/cassandrad start

=====================================
参阅文档:
https://cassandra.apache.org/doc/latest/getting_started/installing.html
https://www.ibm.com/developerworks/cn/opensource/os-cn-cassandra/
https://wenku.baidu.com/view/255b50105f0e7cd184253654.html?re=view
https://wenku.baidu.com/view/7612fb8805087632311212ee.html
http://blog.csdn.net/sharon_1987/article/details/50826131

https://en.wikipedia.org/wiki/Column_(data_store)
https://en.wikipedia.org/wiki/Super_column
https://en.wikipedia.org/wiki/Column_family

https://www.tutorialspoint.com/cassandra/cassandra_architecture.htm
http://www.360doc.com/content/16/0624/06/6902273_570291132.shtml

下载链接:
https://cassandra.apache.org/download/

没有评论

发表回复