centos7制作Ambari本地源并安装

                      centos7制作Ambari本地源并安装

准备工作

  • 新下载的centos7
  • 安装 createrepo,用于制作源
yum install createrepo
  • 安装java (推荐 java 1.8版本,如果有,则跳过此步骤)
yum install java
  • 安装高版本的openssl(各个host都需要安装,否则在ambari中安装服务的时候,会注册失败)
yum install openssl
  • 安装nc和redhat-lsb(hadoop和hbase都有依赖)
yum install nc
yum install redhat-lsb
  • 安装 gcc,python -devel,python-libs 这类要成套
yum install gcc
yum install python-devel
yum install python-libs
关闭防火墙
chkconfig iptables off
service firewalld stop

 
配置环境

  • httpd服务,服务根目录是 /var/www/html
vi /etc/httpd/conf/httpd.conf

启用ServerName:把 #ServerName www.example.com:80 修改为 ServerName hostname:80
修改访问权限:
将<Directory>标签下的内容替换为

<Directory />
   Options FollowSymLinks
   AllowOverride None
   Order allow,deny
   Allow from all
</Directory>

重启httpd的服务让修改后的文件生效
通过浏览器访问页面如果出现以下页面就说明服务启动成功了!
QQ截图20160722163051

 
下载服务包

  • 下载HDP 和HDP-UTILS:
wget -nv http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.3.0.0/hdp.repo -O /etc/yum.repos.d/hdp.repo
#同步
Yum repolist
reposync -r HDP-UTILS-1.1.0.20
reposunc -r HDP-2.3.0.0
  • 下载Amabri:
wget -nv http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.1.2/ambari.repo -O /etc/yum.repos.d/ambari.repo
#同步
yum repolist
reposync -r Updates-ambari-2.1.2

 
制作离线源
把同步的HDP-2.3.0.0、 HDP-UTILS-1.1.0.20和Updates-ambari-2.1.2,移动到 /var/www/html目录,分别进入三个目录,执行 createrepo ./
在/var/www/html目录下,分别执行

mkdir -p ambari-2.1.2/centos7
mkdir -p /var/www/html/HDP/centos7/2.x/2.3.0.0
mkdir -p HDP-UTILS-1.1.0.20/repos/centos7

把同步下来的包分别移动到对应的目录
然后分别执行

createrepo /var/www/html/ambari-2.1.2/centos7
createrepo /var/www/html/HDP/centos7/2.x/2.3.0.0
createrepo /var/www/html/HDP-UTILS-1.1.0.20/repos/centos7

这样,离线源做好了
手动为服务器添加yum 源

cd /etc/yum.repo.d/
vim  ambari.repo

创建文件 ambari.repo,写入内容:

#VERSION_NUMBER=2.1.2-377
[Updates-ambari-2.1.2]
name=ambari-2.1.2 - Updates
baseurl=http://192.168.1.43/ambari-2.1.2/centos7
gpgcheck=0
enabled=1
[HDP-2.3.0.0]
name=HDP Version - HDP-2.3.0.0
baseurl=http://192.168.1.43/hdp/HDP/centos7/2.x/updates/2.3.0.0
gpgcheck=0
enabled=1
[HDP-UTILS-1.1.0.20]
name=HDP Utils Version - HDP-UTILS-1.1.0.20
baseurl=http://192.168.1.43/HDP-UTILS-1.1.0.20/repos/centos7
gpgcheck=0
enabled=1
这里的连接地址需要在浏览器中试下源是否都可以访问  ,可以访问就能使用了

保存,然后执行

yum clean all
yum makecache

node环境配置

首先下载node编译好的安装文件
wget  https://nodejs.org/dist/v4.4.7/node-v4.4.7-linux-x64.tar.xz
下载完成后解压此文件
tar -xvf node-v4.4.7-linux-x64.tar.xz
解压完成后把解压的文件移到/user/local 下
mv node-v4.4.7-linux-x64 /usr/local/node
配置环境变量
vim /etc/bashrc
在文件末尾添加这个配置信息
export NODE_HOME=/usr/local/node/
export PATH=$NODE_HOME/bin:$PATH
重新加载配置文件让配置的环境变量生效
source /etc/bashrc
查看配置后的信息
[root@hp95 ~]# node -v
v4.4.7
[root@hp95 ~]# npm -v
2.15.8
安装git  客户端(为安装CNPM做准备)
yum install -y git
安装cnpm(因为如果用NPM使用的是国外的源会非常慢)
npm install -g cnpm –registry=https://registry.npm.taobao.org
安装PM2
cnpm install -g pm2
[root@hp95 ~]# pm2 -version
1.1.3
出现版本号表示安装成功
 
 

Linux(Centos)之安装Java JDK及注意事项

1.准备工作

a.因为Java JDK区分32位和64位系统,所以在安装之前必须先要判断以下我们的Centos系统为多少位系统,命令如下:

    uname -a
    解释:如果有x86_64就是64位的,没有就是32位的。后面是X686或X86_64则内核是64位的,i686或i386则内核是32位的
    
    由此可以判断我的centos为32位系统,故而我需要下载32位系统的JDK。
  b.下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html,我下载的JDK为8,如图所示:
    
  c.操作需要的软件以及系统如下:虚拟机(Vmware),虚拟机中安装的Centos系统,Xshell,Xftp,jdk-8u65-linux-i586.gz

2.安装Java JDK8.0

a.通过上面准备工作之后,我们现在已经拥有了可以安装JDK的环境。

  b.然后在Xshell中使用命令跳转到local下面创建者自己的文件夹:kencery
    b.1  cd usr/local/   mkdir kencery   cd kencery/
  c.然后使用Xftp将jdk复制到kencery文件夹下面,如图所示:
    
  d.将上传的jdk解压,解压之后重命名为javajdk,如图所示:
    d.1 tar -zxv -f  jdk-8u65-linux-i586.gz
    d.2 mv jdk1.8.0_65  javajdk
    d.3 cd javajdk
    
  e.通过上面的步骤,我们的jdk已经全部完成安装了,接下来就是更重要的一步:配置环境变量

3.配置环境变量

a.1 vim /etc/profile

  a.2 打开之后按键盘(i)进入编辑模式,将下面的内容复制到底部
    JAVA_HOME=/usr/local/kencery/javajdk
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
  备注:根据上面的配置信息,我们既可以将环境变量的配置完成,需要注意的是,PATH在配置的哦时候,一定要把AVA_HOME/bin放在最前面,不然使用java命令式,系统会找到以前的JAVA,在不往下找了,这样java这个可执行文件运行的目录其实不在$JAVA_HOME/bin下,而在其它目录下,会造成很大的问题。
  a.3 写完之后我们按键盘(ESC)按钮退出,然后按(:wq)保存并且关闭Vim。
  b.配置完成之后,最重要的一步就是使文件立即生效:命令如下:
    source /etc/profile让profile

3.验证是否安装成功

  a.上面所有的步骤完成之后,这时候我们需要检查是否安装成功,输入如下命令,如图所示:
    a.1 java -version
    a.2 echo $JAVA_HOME
    

5.卸载Java jdk

    a. 首先执行命令查看服务器下的jdk的版本:命令如下:rpm -qa|grep jdk

    

    b. 然后执行命令: yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64将上面查询出来的每个版本以此删掉即可。

解决linux 系统盘磁盘文件清理

系统长时间运行之后会生成很多系统日志,长期不清理会导致系统盘被占满,服务器宕机的问题.
第一招,查看当前系统盘挂载的各个磁盘的占用情况
[root@/]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 20G 5.0G 14G 27% /
tmpfs 1.9G 0 1.9G 0% /dev/shm
/dev/xvdb1 99G 17G 78G 18% /www
第二招根据挂载磁盘进入当前目录查看文件夹中文件大小,可以一级一级的跟踪直到发现是那个文件占用了磁盘
[root@/]# cd /www/
[root@www]# ls
bak db html80 log lost+found mgxy81 mgxy83 mgxymanage shell tomcat up
[root@www]# du -sh *
6.5G bak
4.2G db
4.6G html80
15M log
16K lost+found
68K shell
669M tomcat
128M up
第三招文件删除后磁盘任然占用非常高
原因,比如一个日志文件,你直接rm -rf 后此服务因为没有从新启动任然占用着此文件,文件未被释放.那么重启使用此日志的服务后文件就会被释放,或者不适用文件删除的方式 直接 echo ”>*.log
这样会直接将文件清空
终极大招使用lsof |grep deleted查看哪些文件被删除但是未释放,然后在去重启相关服务
[root@www]# lsof |grep deleted
AliHids 1323 root 9uW REG 202,1 0 396659 /tmp/qtsingleapp-aegisG-46d2-lockfile (deleted)
 
 

CentOS7 yum 安装mysql 5.6

1、下载 MySQL Yum Repository
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
2、添加 MySQL Yum Repository
rpm -ivh mysql-community-release-el7-5.noarch.rpm
3、验证下是否添加成功
yum repolist enabled | grep “mysql.*-community.*”
4、选择要启用 MySQL 版本
查看 MySQL 版本,执行yum repolist all | grep mysql
可以看到 5.5, 5.7 版本是默认禁用的,因为现在最新的稳定版是 5.6
可以通过类似下面的语句来启动某些版本
yum-config-manager –disable mysql56-community
yum-config-manager –enable mysql57-community-dmr
或者通过修改 /etc/yum.repos.d/mysql-community.repo 文件
# Enable to use MySQL 5.6
[mysql56-community]
name=MySQL 5.6 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.6-community/el/7/$basearch/
enabled=1
gpgcheck=1
gpgkey=file:/etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
其中 enabled=0 是指禁用,enabled=1 指启用。
注意: 任何时候,只能启用一个版本。
5、通过 Yum 来安装 MySQL
yum install mysql-community-server
6、MySQL 安全设置(设置密码)
mysql_secure_installation;
7、远程访问设置
创建一个普通用户 sa ,密码是 some_pass
CREATE USER ‘sa’@’%’ IDENTIFIED BY ‘some_pass’;
给这个用户授予 SELECT,INSERT,UPDATE,DELETE 的远程访问的权限,这个账号一般用于提供给实施的系统访问
GRANT SELECT,INSERT,UPDATE,DELETE ON *.* TO ‘sa’@’%’;
创建一个管理员用户 admin 账号 ,密码是 some_pass
CREATE USER ‘admin’@’%’ IDENTIFIED BY ‘some_pass’;
给这个用户授予所有的远程访问的权限。这个用户主要用于管理整个数据库、备份、还原等操作。
GRANT ALL ON *.* TO ‘admin’@’%’;
使授权立刻生效
flush privileges;
8、设置字符集
一般的,为了支持中文,我们应该讲字符集设为 UTF-8, 执行下面命令查看当前 MySQL 字符集
SHOW VARIABLES LIKE ‘character%’;
修改 /etc/my.cnf 文件,添加字符集的设置
[mysqld]
character_set_server = utf8
[mysql]
default-character-set = utf8
重启 MySQL ,可以看到字符集已经修改了
9、备份、还原
备份
mysqldump –socket=/home/data/mysql/mysql.sock –single-transaction=TRUE -u root -p emsc > emsc.sql
还原
mysql –socket=/home/data/mysql/mysql.sock -u root -p emsc < emsc.sql

centos7 yum 方式安装nginx

1.添加Nginx到YUM源

添加CentOS 7 Nginx yum资源库,打开终端,使用以下命令:

sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

2.安装Nginx

在你的CentOS 7 服务器中使用yum命令从Nginx源服务器中获取来安装Nginx:

sudo yum install -y nginx

Nginx将完成安装在你的CentOS 7 服务器中。

3.启动Nginx

刚安装的Nginx不会自行启动。运行Nginx:

sudo systemctl start nginx.service

如果一切进展顺利的话,现在你可以通过你的域名或IP来访问你的Web页面来预览一下Nginx的默认页面;
nginx_default
如果看到这个页面,那么说明你的CentOS 7 中 web服务器已经正确安装。

CentOS 7 开机启动Nginx

sudo systemctl enable nginx.service

 

Nginx配置信息

网站文件存放默认目录

/usr/share/nginx/html

网站默认站点配置

/etc/nginx/conf.d/default.conf

自定义Nginx站点配置文件存放目录

/etc/nginx/conf.d/

Nginx全局配置

/etc/nginx/nginx.conf

(3)启动Nginx

#service nginx start

#systemctl start nginx.service

centos7 通过yum 方式安装 redis

直接yum 安装的redis 不是最新版本

yum install redis

如果要安装最新的redis,需要安装Remi的软件源,官网地址:http://rpms.famillecollet.com/

yum install -y http://rpms.famillecollet.com/enterprise/remi-release-7.rpm

然后可以使用下面的命令安装最新版本的redis:

yum --enablerepo=remi install redis

安装完毕后,即可使用下面的命令启动redis服务

service redis start
或者
systemctl start redis

redis安装完毕后,我们来查看下redis安装时创建的相关文件,如下:

rpm -qa |grep redis

rpm -ql redis


查看redis版本:

redis-cli --version

 
设置为开机自动启动:

chkconfig redis on
或者
systemctl enable redis.service

Redis开启远程登录连接,redis默认只能localhost访问,所以需要开启远程登录。解决方法如下:
在redis的配置文件/etc/redis.conf
bind 127.0.0.1 改成了 bind 0.0.0.0
然后要配置防火墙 开放端口6379
连接redis

redis-cli


 更新:2018-01-22
在azure vm centos7.4 安装了最新的redis 4.0.6 bind 0.0.0.0 发现外网连接不上,发现azure vm 打开端口的地方已经变了,需要注意:要将源端口设置为 * ,目标端口为我们要打开的redis 端口,打开后可以使用telnet 命令测试一下:telnet 101.200.189.125 6379

 
另外: redis 3.2后新增protected-mode配置,默认是yes,即开启。解决方法分为两种:1、设置 protected-mode 为 no  2、配置bind或者设置密码
测试的时候我使用了配置bind 方式,没有加密码,正式生产环境可以使用加密码方式

centos6.8 yum安装mysql 5.6

一、检查系统是否安装其他版本的MYSQL数据
yum list installed | grep mysql
yum -y remove mysql-libs.x86_64
二、安装及配置
wget http://repo.mysql.com/mysql-community-release-el6-5.noarch.rpm
rpm -ivh mysql-community-release-el6-5.noarch.rpm
yum repolist all | grep mysql
1、安装MYSQL数据库
yum install mysql-community-server -y
2、设置为开机启动
chkconfig --list | grep mysqld
chkconfig mysqld on
3、设置密码
/usr/bin/mysqladmin -u root password '123456'
4、修改root密码
mysql -uroot -p123456
mysql> select Host,User,Password from user where User='root';
+-----------------------+------+-------------------------------------------+
| Host                  | User | Password                                  |
+-----------------------+------+-------------------------------------------+
| localhost             | root | *4A82FDF1D80BA7470BA2E17FEEFD5A53D5D3B762 |
| localhost.localdomain | root |                                           |
| 127.0.0.1             | root |                                           |
| ::1                   | root |                                           |
+-----------------------+------+-------------------------------------------+
4 rows in set (0.00 sec)
mysql> update user set Password = password('123456') where User='root';
Query OK, 4 rows affected (0.03 sec)
Rows matched: 4  Changed: 4  Warnings: 0
mysql> select Host,User,Password from user where User='root';
+-----------------------+------+-------------------------------------------+
| Host                  | User | Password                                  |
+-----------------------+------+-------------------------------------------+
| localhost             | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| localhost.localdomain | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| 127.0.0.1             | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
| ::1                   | root | *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
+-----------------------+------+-------------------------------------------+
4 rows in set (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)