Big Data Framework
1 基础知识
1.1 概念
1.1 概念
– LightGBM框架是基于树学习算法的梯度增强框架
– LightGBM框架是基于分布式的高效框架
1.2 特点
– 训练速度更快(效率更高)
– 低内存使用率
– 更高的准确性
– 支持并行和GPU学习
– 能够处理大规模数据
2 最佳实践
2.1 准备工作
2.1.1 准备系统环境
OS = CentOS 7.x x86_64
IP Address = any
Host Name = any
2.1.2 部署R-Project
如果你尚未部署R-Project,请参阅以下章节部署,
2.1.2 安装编译工具
yum -y install gcc gcc-c++ cmake
2.1.3 安装需要的工具包
yum install -y unzip
2.1.4 下载软件包
cd ~ wget https://github.com/microsoft/LightGBM/archive/master.zip -O LightGBM-master.zip
2.1.5 解压软件包
cd ~ unzip LightGBM-master.zip
2.2 编译安装
2.2.1 预编译软件包
cd ~/LightGBM-master cmake . -DCMAKE_INSTALL_PREFIX=/usr \ -DCMAKE_INSTALL_BINDIR=/usr/bin \ -DCMAKE_INSTALL_SBINDIR=/usr/sbin \ -DCMAKE_INSTALL_LIBEXECDIR=/usr/libexec \ -DCMAKE_INSTALL_SYSCONFDIR=/etc \ -DCMAKE_INSTALL_LOCALSTATEDIR=/var \ -DCMAKE_INSTALL_LIBDIR=/usr/lib64 \ -DCMAKE_INSTALL_INCLUDEDIR=/usr/include \ -DCMAKE_INSTALL_DATAROOTDIR=/usr/share \ -DCMAKE_INSTALL_INFODIR=/usr/share/info \ -DCMAKE_INSTALL_LOCALEDIR=/usr/share/locale \ -DCMAKE_INSTALL_MANDIR=/usr/share/man \ -DCMAKE_INSTALL_DOCDIR=/usr/share/doc/LightGBM
2.2.2 编译软件包
cd ~/LightGBM-master make -j4
2.2.3 安装软件包
cd ~/LightGBM-master make install
2.2.4 作为R语言组件安装
cd ~/LightGBM-master Rscript build_r.R
如果遇到如下错误,
ERROR: dependencies ‘R6’, ‘data.table’, ‘jsonlite’ are not available for package ‘lightgbm’
可使用如下命令安装依赖的“R6”,
cd ~ wget https://cran.r-project.org/src/contrib/R6_2.4.1.tar.gz R CMD INSTALL R6_2.4.1.tar.gz
可使用如下命令安装依赖的”data.table”
R install.packages("data.table") q()
可使用如下命令安装依赖的”jsonlite”
R install.packages("jsonlite") q()
安装完毕后,可使用如下命令测试,
R library(lightgbm)
可见以下提示则安装成功,
Loading required package: R6
参阅文档
======================
官方的安装教程
—————
https://lightgbm.readthedocs.io/en/latest/Installation-Guide.html#linux
官方gitHub
————–
https://github.com/microsoft/LightGBM
https://cmake.org/cmake/help/v2.8.12/cmake.html#module:GNUInstallDirs
没有评论