冬日の草原

Deploy And Manage Drupal with Composer Under Rocky 8

2022-03-31T06:44:26.000Z

Drupal is a general used CMS framework all over the world, and Composer is one of the best PHP package manager. It’s very easy to deploy a drupal site with composer.

Prerequisites

Drupal now (>=9.0) requires:

PHP >= 7.2
SQL
- PostgreSQL
- MySQL
Nginx

Nginx

1 2	$ sudo dnf module install -y nginx:1.20 $ sudo systemctl enable --now nginx

PostgreSQL 13

1	$ sudo dnf module install postgresql:13

PHP 7.4

1
2
3

$ sudo dnf module install php:7.4 -y
$ sudo sed -i -e "s|^user = apache|user = nginx|g" -e "s|^group = apache|group = nginx|g" /etc/php-fpm.d/www.conf
$ sudo systemctl enable --now php-fpm.service

Composer

$ php -r "copy('https://getcomposer.org/installer', 'composer-setup.php');"
$ php -r "if (hash_file('sha384', 'composer-setup.php') === '906a84df04cea2aa72f40b5f787e49f22d4c2f19492ac310e8cba5b96ac8b64115ac402c8cd292b8a03482574915d1a8') { echo 'Installer verified'; } else { echo 'Installer corrupt'; unlink('composer-setup.php'); } echo PHP_EOL;"
$ php composer-setup.php
$ php -r "unlink('composer-setup.php');"
$ sudo mv composer.phar /usr/bin/composer

Or just:

1 2	$ sudo wget https://getcomposer.org/download/latest-stable/composer.phar -O /usr/bin/composer $ sudo chmod +x /usr/bin/composer

Drupal

#### Install drupal
$ cd /path/to/web/
$ composer create-project drupal/recommended-project my-project
$ cd my-project
#### install drush
$ composer require drush/drush

Selinux

Disable Selinux for convenience.

1 2	$ sudo setenforce 0 $ sudo sed -i "s\|SELINUX=enforcing\|SELINUX=disabled\|g" /etc/selinux/config

#### For nginx
$ sudo semanage permissive -a httpd_t
# or
$ sudo setsebool -P httpd_can_network_connect 1
#
$ chcon -R -t httpd_sys_content_t /path/to/drupal/site
#### For php-fpm

Deploy Drupal

Nginx Config

A typical nginx config:

#### ssl
server_tokens off;
# 
add_header X-Frame-Options SAMEORIGIN;
add_header X-Content-Type-Options nosniff;
add_header X-XSS-Protection "1;mode=block";
add_header Content-Security-Policy "default-src *; style-src static.addtoany.com self 'unsafe-inline' 'unsafe-eval'; script-src static.addtoany.com self 'unsafe-inline' 'unsafe-eval'; img-src 'self' 'unsafe-inline'; script-src-elem 'static.addtoany.com' 'self' 'unsafe-inline' 'unsafe-eval';";
#add_header Content-Security-Policy "default-src *; style-src static.addtoany.com self unsafe-inline unsafe-eval; script-src static.addtoany.com self unsafe-inline unsafe-eval; img-src self unsafe-inline; script-src-elem static.addtoany.com self unsafe-inline unsafe-eval;";

# ssl config

ssl_certificate                 /etc/nginx/ssl/ssl.crt;
ssl_certificate_key             /etc/nginx/ssl/ssl.key;

ssl_session_cache shared:SSL:10m;
ssl_session_timeout 5m;

#perfect Forward Security
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_prefer_server_ciphers on;
add_header Strict-Transport-Security max-age=2592000;

ssl_ciphers  ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;

fastcgi_max_temp_file_size 0;
fastcgi_buffers 16 16k;
fastcgi_buffer_size 32k;

fastcgi_read_timeout 600;
fastcgi_send_timeout 600;
map_hash_max_size 64;
map_hash_bucket_size 64;

server {
    listen       80;
    listen       [::]:80;
    listen       443 default_server ssl;
    listen       [::]:443 default_server ssl;
    if ($scheme = http){
        return 301 https://$server_name$request_uri;
    }

    #server_name  my-site-ltd;
    root /path/to/drupal/site;

    location = /favicon.ico {
        log_not_found off;
        access_log off;
    }

    location = /robots.txt {
        allow all;
        log_not_found off;
        access_log off;
    }

    # Very rarely should these ever be accessed outside of your lan
    location ~* \.(txt|log)$ {
        allow 192.168.0.0/16;
        deny all;
    }

    location ~ \..*/.*\.php$ {
        return 403;
    }

    location ~ ^/sites/.*/private/ {
        return 403;
    }

    # Block access to scripts in site files directory
    location ~ ^/sites/[^/]+/files/.*\.php$ {
        deny all;
    }

    # Allow "Well-Known URIs" as per RFC 5785
    location ~* ^/.well-known/ {
        allow all;
    }

    # Block access to "hidden" files and directories whose names begin with a
    # period. This includes directories used by version control systems such
    # as Subversion or Git to store control files.
#    location ~ (^|/)\. {
#        return 403;
#    }

    location / {
        try_files $uri /index.php?$query_string; # For Drupal >= 7
    }
    rewrite ^/core/authorize.php/core/authorize.php(.*)$ /core/authorize.php$1;
    location @rewrite {
        #rewrite ^/(.*)$ /index.php?q=$1; # For Drupal <= 6
        rewrite ^ /index.php; # For Drupal >= 7
    }

    # Don't allow direct access to PHP files in the vendor directory.
    location ~ /vendor/.*\.php$ {
        deny all;
        return 404;
    }

    # Protect files and directories from prying eyes.
    location ~* \.(engine|inc|install|make|module|profile|po|sh|.*sql|theme|twig|tpl(\.php)?|xtmpl|yml)(~|\.sw[op]|\.bak|\.orig|\.save)?$|^(\.(?!well-known).*|Entries.*|Repository|Root|Tag|Template|composer\.(json|lock)|web\.config)$|^#.*#$|\.php(~|\.sw[op]|\.bak|\.orig|\.save)$ {
        deny all;
        return 404;
    }

    # In Drupal 8, we must also match new paths where the '.php' appears in
    # the middle, such as update.php/selection. The rule we use is strict,
    # and only allows this pattern with the update.php front controller.
    # This allows legacy path aliases in the form of
    # blog/index.php/legacy-path to continue to route to Drupal nodes. If
    # you do not have any paths like that, then you might prefer to use a
    # laxer rule, such as:
    #   location ~ \.php(/|$) {
    # The laxer rule will continue to work if Drupal uses this new URL
    # pattern with front controllers other than update.php in a future
    # release.
    location ~ '\.php$|^/update.php' {
        fastcgi_split_path_info ^(.+?\.php)(|/.*)$;
        # Ensure the php file exists. Mitigates CVE-2019-11043
        try_files $fastcgi_script_name =404;
        # Security note: If you're running a version of PHP older than the
        # latest 5.3, you should have "cgi.fix_pathinfo = 0;" in php.ini.
        # See http://serverfault.com/q/627903/94922 for details.
        include fastcgi_params;
        # Block httpoxy attacks. See https://httpoxy.org/.
        fastcgi_param HTTP_PROXY "";
        fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
        fastcgi_param PATH_INFO $fastcgi_path_info;
        fastcgi_param QUERY_STRING $query_string;
        fastcgi_intercept_errors on;
        # PHP 5 socket location.
        #fastcgi_pass unix:/var/run/php5-fpm.sock;
        # PHP 7 socket location.
        fastcgi_pass  127.0.0.1:9000;
#        fastcgi_pass unix:/var/run/php-fpm/www.sock;
    }

#    location ~* \.(js|css|png|jpg|jpeg|gif|ico|svg)$ {
#        try_files $uri @rewrite;
#        expires max;
#        log_not_found off;
#    }

    # Fighting with Styles? This little gem is amazing.
    # location ~ ^/sites/.*/files/imagecache/ { # For Drupal <= 6
#    location ~ ^/sites/.*/files/styles/ { # For Drupal >= 7
#        try_files $uri @rewrite;
#    }

    # Handle private files through Drupal. Private file's path can come
    # with a language prefix.
    location ~ ^(/[a-z\-]+)?/system/files/ { # For Drupal >= 7
        try_files $uri /index.php?$query_string;
    }
}

PostgreSQL Config

Run via docker

$ docker run -dit --name postgres --restart always -e POSTGRES_PASSWORD=mysecretpassword -e POSTGRES_USER=drupal -e POSTGRES_DB=drupal -e PGDATA=/var/lib/postgresql/data/ -e TZ=Asia/Shanghai -v /custom/mount:/var/lib/postgresql/data -p 5432:5432 postgres:13

Drupal Config

Drupal Update

Put drupal into maintainence mode
Update drupal via composer

$ cd /path/to/drupal/site
#### To check if any update for drupal/core or drupal/core-recommended
$ composer outdated "drupal/*"
#### Update drupal/core-recommended
$ composer show drupal/core-recommended
$ composer update drupal/core "drupal/core-*" --with-all-dependencies
#### Update drupal/core
$ composer update drupal/core --with-dependencies
#### Update database via drush
$ drush updatedb
$ drush cache:rebuild

To be continued…

在远程服务器上挂载 Ceph RBD 块设备

2020-04-03T07:09:59.000Z

Ceph 存储一个重要的使用场景就是其块设备，本文将会介绍一下如何挂载 Ceph RBD 到远程服务器上。从安全角度考虑，一般不建议这样做。

准备工作

Ceph 安装 repo:

[ceph]
name=Ceph packages for $basearch
baseurl=https://download.ceph.com/rpm-mimic/el7/$basearch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-mimic/el7/noarch
enabled=1
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://download.ceph.com/rpm-mimic/el7/SRPMS
enabled=0
priority=2
gpgcheck=1
gpgkey=https://download.ceph.com/keys/release.asc

安装 Ceph 和 RBD 客户端:

1	$ sudo yum install -y ceph-common python-rbd

远程服务器挂载

创建 RBD

1	$ rbd create --pool volulmes --size 50G lintao_test

Ceph 配置

/etc/ceph/ceph.conf:

[global]
fsid = 1da65d0e-4284-41e0-868e-8c25b89648fc
mon_initial_members = ceph01, ceph02, ceph03
mon_host = 192.168.15.38,192.168.15.39,192.168.15.40
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx


[mon]
mgr initial modules = dashboard

[client.cinder]
keyring = /etc/ceph/ceph.client.cinder.keyring

远程客户端使用 key: /etc/ceph/ceph.client.rbd.keyring:

1 2	[client.rbd] key = AQBooSldwwbkAhAAtxRH0lHGfnUautW2rF6pkQ==

Ceph RBD Map

map rbd

1 2	$ sudo rbd map volumes/lintao_test --id cinder /dev/rbd0

if unmap rbd

1	$ sudo rbd unmap volumes/lintao_test --id cinder

格式化与挂载

$ sudo fdisk /dev/rbd/volumes/lintao_test
...
$ sudo mkfs.ext4 /dev/rbd/volumes/lintao_test-part1
...
$ sudo mkdir /data 
$ sudo mount /dev/rbd/volumes/lintao_test-part1 /data

自动挂载

/etc/ceph/rbdmap

1	volumes/lintao_test id=cinder,keyring=/etc/ceph/ceph.client.keyring

enable rbdmap service

1	$ sudo systemctl enable --now rbdmap

/etc/fstab

1
2
3

$ sudo blkid /dev/rbd/volumes/lintao_test-part1
### /etc/fstab
UUID=0a9d74d8-8f37-4a80-ac70-28c292e79784    /data    ext4 defaults 0 0

Install And Configure Docker under CentOS 8

2020-03-05T16:10:50.000Z

红帽已经在 CentOS 8 中用 Podman 替代了 Docker，它是与 Docker 类似的容器技术，使用命令都十分相似，但对于熟悉 Docker 及配置的管理人员，他们可能会倾向于使用 Docker。本文会简单介绍如何在 CentOS 8 下安装、配置 Docker。

## 安装 Docker### 准备工作1. 卸载旧版本的 Docker.

1	$ sudo dnf remove docker-common docker container-selinux docker-selinux docker-engine

添加 Docker 安装源

1	$ sudo curl https://download.docker.com/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker-ce.repo

安装最新版的 Containerd. 你可能需要主动查看最新版本，目前 (06/03/2020) 是 1.2.6-3.3.

1	$ sudo dnf install -y https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.2.6-3.3.el7.x86_64.rpm

安装 Docker CE

1	$ sudo dnf install -y docker-ce

启用 Docker 服务

1	$ sudo systemctl enable --now docker

为非 Root 用户添加运行 Docker 的权限

1
2
3

$ sudo groupadd docker
$ sudo useradd -m -d /home/test -U -r test
$ sudo usermoad -aG docker test

验证 Docker 是否正确安装

1	$ docker run busybox ping -c 5 google.com

不出意外， docker ping 是不通的。我们安装的 Docker 是有问题的，防火墙并没有正确配置。

配置系统防火墙

0. 开启 IP 转发

1 2	$ echo "net.ipv4.ip_forward = 1" \| sudo tee /etc/sysctl.conf $ sudo sysctl -p

1. 关闭防火墙

One easily way that makes docker access the network is stop the firewall. CentOS 8 using firewalld with nftables to protect the system.

1 2	$ sudo systemctl disable --now firewalld $ sudo systemctl mask --now firewalld

But this will expose our server to security attacks. So, we need configure the firewalld to granting docker the network access.

2. 配置防火墙

检查活动的 zone 和 docker0 所在的 zone

1 2	$ sudo firewall-cmd --get-active-zones $ sudo firewall-cmd --get-zone-of-interface=docker0

我们发现 Docker 的 docker0 没有在任何 zone 中, 我们需要将其加到某一个 zone 如 public 中

添加 docker0 到 public zone.

$ firewall-cmd --permanent --zone=public --change-interface=docker0
#or
$ firewall-cmd --permanent --zone=public --add-interface=docker0
#or
$ nmcli connection modify docker0 connection.zone public

为 docker0 配置 iptables 规则.

1
2
3

$ firewall-cmd --permanent --direct --add-rule ipv4 filter INPUT 4 -i docker0 -j ACCEPT
$ firewall-cmd --permanent --direct --add-rule ipv6 filter INPUT 6 -i docker0 -j ACCEPT
$ firewall-cmd --zone=public --add-masquerade --permanent

打开所需要的端口.

## dns
$ firewall-cmd --zone=public --add-port=53/tcp
## http
$ firewall-cmd --zone=public --add-port=80/tcp
## https
$ firewall-cmd --zone=public --add-port=443/tcp

重新载入防火墙规则，重启 Docker 服务.

1 2	$ sudo firewall-cmd --reload $ sudo systemctl restart docker

验证 Docker 是否能连接网络

$ docker run busybox ping -c 5 google.com
PING google.com (172.217.11.46): 56 data bytes
64 bytes from 172.217.11.46: seq=0 ttl=55 time=10.850 ms
64 bytes from 172.217.11.46: seq=1 ttl=55 time=1.786 ms
64 bytes from 172.217.11.46: seq=2 ttl=55 time=1.759 ms
64 bytes from 172.217.11.46: seq=3 ttl=55 time=1.978 ms
64 bytes from 172.217.11.46: seq=4 ttl=55 time=1.797 ms

--- google.com ping statistics ---
5 packets transmitted, 5 packets received, 0% packet loss
round-trip min/avg/max = 1.759/3.634/10.850 ms

可以看到，现在 Docker 已经能够访问网络了。

XCache 的配置、测试与优化

2020-01-04T02:51:47.000Z

XRoodD is the common protocol generally used in high energy physics computing. XRootD proxy for file cache(XCache) is a typical way for XRootD.

XRootD 代理服务

XRootD 直接代理模式

XRootD 转发代理模式

XRootD 联合代理模式

XRootD 自动代理

XRootD 代理缓存服务

XRootD 磁盘缓存模式

XRootD 自带了几个简单的文件缓存配置 - xrootd-filecache-cluster.cf 和 xrootd-filecache-standalone.cfg, 下面是一个磁盘缓存模式 Disk Cache 的配置文件:

all.export /

ofs.osslib libXrdPss.so

xrootd.trace emsg login stall redirect
xrd.trace info
ofs.trace info

pss.origin = some_server:1094

### 包含 Disk Cache Proxy 插件的共享库。
pss.cachelib  libXrdFileCache.so

### 用来缓存需要写到磁盘上的代理缓冲的最大允许 RAM。超过这个值，代理会将请求发送到远程服务器。
pfc.ram   16g

pss.setopt DebugLevel 0

oss.memfile max 80% check map preload

### 用来保存缓存文件的位置
oss.localroot  /data

pfc.trace  DebugLevel
pfc.prefetch  8

pfc.blocksize  512k

ofs.ckslib * libXrdPss.so

pfc.user xrootd

XRootD 内存缓存模式

与 Disk Cache 模式不同的是，XRootD 内存缓存模式 Memory Cache 是将最近访问过的文件缓存在内存中，所以要求作为服务器的内存要足够大。 XRootD Disk Cache 与 Memory Cache 是不能共存的。 XRootD Memory Cache 与标准的 XRoot Proxy 服务相比，只多了一个 pss.cahce 语句。下面是一个 Memory Cahce 的配置文件。

all.export /

ofs.osslib libXrdPss.so

xrootd.trace emsg login stall redirect
xrd.trace info
ofs.trace info

pss.origin = some_server:1094
pss.cache logstats max2cache 16g sfiles on r preread
pss.setopt DebugLevel 0

XCache 测试

参考

在 Beamer 中添加计时器和 Logo

2019-04-16T00:48:18.000Z

在 PPT 中有一个演讲计时功能，能够帮助报告人掌握演讲时间。其实 pdf 中也有这一功能，在 beamer 中添加计时器比较方便。此外，在 beamer 标题中加上特定的 Logo 也是比较简单的。

添加 timer 计时器

LaTeX 中 tdclock 包可以提供定时功能。添加一个计时器也很简单。

在导言区加入 tdclock 包。可以设置一次提醒，二次提醒时间，更新时间间隔等等。

1 2	\usepackage[timeinterval=2.0, timeduration=2.0, timedeath=0, fillcolorwarningsecond=white!60!yellow,timewarningfirst=900,timewarningsecond=1080]{tdclock}

\initclock 初始化。在适当的位置，如 titlepage 中加入这一命令。
1
2
3
4
\begin{frame}
\titlepage
\initclock
\end{frame}
在要显示的地方加入 \crono 命令，比如在 footer 中。如果使用的三段式 footer 结构，可以在 footer 中显示时间，则可以这样做：
1
2
3
4
5
\begin{frame}
\titlepage
\initclock
\end{frame}
\date{\today \crono}

这样会显示日期和从 00:00:00 开始的计时器，如下图黑框所示。

tdclock 与 xelatex 一起使用会有些小问题，会显示不完全，这里提供了一种解决方法。测试是可以的。

在 frame 中加入 logo

在标题中加入 logo

通过简单地修改 frametitle 就能加入 logo，而不用 textopt 等包。

在 \begin{document} 之前重新定义 frametitle，这会在 frametitle 最右端显示一个 logo:

\setbeamertemplate{frametitle}
{
    \begin{beamercolorbox}[wd=\paperwidth]{frametitle}
      \strut\hspace{0.5em}\insertframetitle\strut
      \hfill
      \raisebox{-2mm}{\includegraphics[width=1cm]{$logo$}}
    \end{beamercolorbox}
}

只为 titlepage 页面，定义新的 logo，而不是在 title 中添加 logo。

{
\setbeamertemplate{logo}{}
\titlegraphic{\includegraphics[height=1.8cm]{images/logo.jpg}\hspace{1em}\includegraphics[height=1.8cm]{images/lhaaso.png}}
\begin{frame}
\titlepage
\initclock
\end{frame}
}

最终结果如下图所示

在页面右下角加入 logo。

有时我们会想在其它地方加上 logo，比如页面右下角，这时一般直接使用 \logo 命令即可。

1	\logo{\includegraphics[height=1cm]{my_logo.png}

如果想要调整位置，可以使用 pgf 命令，但坐标位置需要仔细调整。

1	\logo{\pgfputat{\pgfxy(-9,9)}{\pgfbox[center,base]{\includegraphics[width=1.5cm]{$logo$}}}}

利用 Grafana 监控 Ceph 集群的状态和性能

2019-02-14T04:43:37.000Z

Grafana 是一套开源的跨平台的可视化工具，可以将采集的数据进行可视化展示，并进行通知，展示方式多样，能够让我们随时掌控系统的运行情况。这里我们介绍如何使用 Grafana 来对 Ceph 集群进行性能和运行状态的监控。

在 CentoS 7 下安装 Grafana

最简单的方法是通过 Grafana 的官方 Repo 来安装 Grafana。

添加 grafana repo

$ cat << EOF | sudo tee /etc/yum.repos.d/grafana.repo
[grafana]
name=grafana
baseurl=https://packagecloud.io/grafana/stable/el/7/
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packagecloud.io/gpg.key https://grafanarel.s3.amazonaws.com/RPM-GPG-KEY-grafana
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
EOF

安装 grafana

1	$ sudo yum install -y grafana

启动 Grafana：

1	$ sudo systemctl enable --now grafana-server

设置防火墙，打开 3000 端口：

1 2	$ sudo firewall-cmd --permanent --add-port=3000/tcp $ sudo firewall-cmd --reload

在浏览器中访问 server-ip:3000 就可以看到 Grafana 界面了。默认用户和组都是 admin。

Grafana 默认配置文件在 /etc/grafana/grafana.in, 数据库在 /var/lib/grafana/grafana.db, log 存储在 /var/log/grafana。

使用 Telegraf 和 InfluxDB 监控 Ceph

to be updated…

利用 Prometheus 监控 Ceph

我们需要安装 Prometheus 和 ceph-exporter 来为 Grafana 提供 Ceph 的信息，

在 CentoS 7 下安装 Prometheus

创建一个 Prometheus 系统组和账户：

1
2
3

### uid, gid < 1000
$ sudo useradd -s /sbin/nologin -r -U prometheus
###

创建 Prometheus 数据和配置文件夹

1 2	$ sudo mkdir -p /etc/prometheus/{rules,rules.d} $ sudo mkdir -p /var/lib/prometheus

下载最新的 Prometheus 二进制包进行安装(2。7.1)

$ VER=2.7.1
$ wget https://github.com/prometheus/prometheus/releases/download/v${VER}/prometheus-${VER}.linux-amd64.tar.gz
$ tar xf prometheus-${VER}.linux-amd64.tar.bz2 && cd prometheus-${VER}.linux-amd64
### binary
$ sudo cp prometheus promtool /usr/bin/
### configuration
$ sudo cp -r consoles console_libraries prometheus.yml /etc/prometheus
### permissions
$ sudo chown -R prometheus:prometheus /var/lib/prometheus /etc/prometheus/

创建 Prometheus 配置文件:

# Global config
global:
  scrape_interval: 15s
  evaluation_interval: 15s
  scrape_timeout: 15s
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
  - targets: ['localhost:9090']

创建 systemd 服务单元 prometheus.service, 其中，Environment="GOMAXPROCS=2" 是服务器上的 vCPUs 数量:

[Unit]
Description=Prometheus
Documentation=https://prometheus.io/docs/introduction/overview/
Wants=network-online.target
After=network-online.target

[Service]
Type=simple
Environment="GOMAXPROCS=2"
User=prometheus
Group=prometheus
ExecReload=/bin/kill -HUP $MAINPID
ExecStart=/usr/bin/prometheus \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/var/lib/prometheus \
  --web.console.templates=/etc/prometheus/consoles \
  --web.console.libraries=/etc/prometheus/console_libraries \
  --web.listen-address=0.0.0.0:9090 \
  --web.external-url=

SyslogIdentifier=prometheus
Restart=always

[Install]
WantedBy=multi-user.target

启动 Prometheus 服务：

1
2
3

$ sudo cp prometheus.service /usr/lib/systemd/system
$ sudo systemctl daemon-reload
$ sudo systemctl enable --now prometheus

配置防火墙，打开相应的端口

### open to all ip
$ sudo firewall-cmd --permanent --add-port=9090/tcp
### open to subnets
$ sudo firewall-cmd --permanent --add-rich-rule 'rule family="ipv4" source address="192.168.60.0/24" port protocol="tcp" port="9090" accept'
$ sudo firewall-cmd --reload

安装 Docker

在用作 Docker 服务器上安装 Docker：

移除之前安装的 Docker：

1	$ sudo yum remove -y docker docker-common docker-selinux docker-engine

安装依赖包

1	$ sudo yum install -y yum-utils device-mapper-persistent-data lvm2

添加 Docker 源：

1	$ sudo wget https://download.docker.com/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker.repo

安装 Docker CE:

1	$ sudo yum install docker-ce

启动 Docker 服务：

1	$ sudo systemctl enable --now docker

构建 Ceph-exporter 镜像

从 Github clone ceph-exporter：

1	$ git clone https://github.com/digitalocean/ceph_exporter

构建 ceph-exporter 镜像：

1	$ docker build . -t ceph-exporter

启动一个 Docker 容器运行 Ceph-exporter：

### 1. docker run:
$ docker run --name ceph-exporter -v /etc/ceph:/etc/ceph --net host -p 9128:9128 --restart unless-stopped -dit digitalocean/ceph-exporter
### 2. docker-compose:
$ cat << EOF >> docker-compose.yml
# Example usage of exporter in use
version: '2'
services:
  ceph-exporter:
    image: ceph_exporter
    restart: unless-stopped
    network_mode: "host"
    volumes:
        - /etc/ceph:/etc/ceph
    ports:
        - '9128:9128'
EOF
$ docker-compose up -d
### 3. systemd:
$ cat << EOF | sudo tee /usr/lib/systemd/system/ceph-exporter.service
[Service]
Restart=always
TimeoutStartSec=0
ExecStartPre=-/usr/bin/docker kill ceph_exporter
ExecStartPre=-/usr/bin/docker rm ceph_exporter

ExecStart=/usr/bin/docker run \
--name ceph_exporter \
-v /etc/ceph:/etc/ceph \
--net host \
-p 9128:9128 \
ceph_exporter

ExecStop=-/usr/bin/docker kill ceph_exporter
ExecStop=-/usr/bin/docker rm ceph_exporter
EOF
$ sudo systemctl daemon-reload 
$ sudo systemctl enable ceph-exporter
$ sudo systemctl status ceph-exporter

设置防火墙，打开 9128 端口：

1
2
3

$ sudo firewall-cmd --permanent --add-rich-rule 'rule family="ipv4" \
source address="192.168.60.0/24" port protocol="tcp" port="9128" accept'
$ sudo firewall-cmd --reload

Grafana 配置文件中加入 ceph-exporter 部分，修改 ceph-exporter-ip 为真实的 IP.IP，并重启 Grafana 服务。

scrape_configs:
    - job_name: prometheus
      static_configs:
          - targets: ['localhost:9090']
    - job_name: 'ceph-exporter'
      static_configs:
        - targets: ['ceph-exporter-ip:9128']
          labels:
            alias: ceph-exporter

将 Prometheus 数据添加到 Grafana

安装配置好上面的之后，我们需要在 Grafana 中添加 Prometheus 数据源。登陆到 Grafana Web 服务器，在设置中，添加数据源，选择 Prometheus：

添加数据源，需要提供的是：

Name：数据源名
URL: 数据源地址
Access: Server(Proxy) or Browser(Direct)

添加界面如下：

填好后，点击 Save and Test 按钮即可。

启用 Ceph 的 Prometheus 模块

在 Ceph 中启用 mgr 的 promtheus 监控模块：

1	$ ceph mgr module enable prometheus

导入 Ceph 集群的 Grafana Dashboards

Grafana 官网上有一些已经写好的 Dashboards，我们可以从上面导入一些设计比较好的。 Dashboard 是 json 文件，我们也可以自己修改设计 Ceph 的 Dashboard。Ceph 本身也有一些 Dashboards, 可以作为参考。在 Grafana Web 界面左侧的工具栏选择 + -> Import，导入界面大致如下：

有三种方法可以导入 Dashboard：

填写 Dashboard 在 Grafana.com Dashboard 中的 url 或 id
上传 JSON 文件
直接粘贴 JSON 内容

导入合适的 Dashboard 后，就可以在 Dashboards 界面选择查看导入的 Dashboards 了。

PS: ceph-exporter 中提供了 docker-compose.yml，包含了 Prometheus、Grafana 和 ceph-exporter，我们可以使用 docker-compose 一起运行这三个服务。

参考

将 Ceph 文件系统 CephFS 挂载为 NFS

2019-01-04T02:05:37.000Z

利用 NFS-Ganesha 或 ceph-fuse 与 nfsd，我们可以将 CephFS 通过 NFS 协议对外发布出去，用户可以通过 NFS 客户端挂载 CephFS 文件系统进行访问。

Ceph 与 NFS

Ceph 是一种开源的分布式存储系统，具有优异的性能、可靠性和可扩展性。 Ceph 底层使用 RADOS，提供 RBD、RGW 和 CephFS 三种标准的访问接口。从 Luminous 版本开始， CephFS 已经具有相当好的稳定性，可用在生产环境。

Ceph Structure

NFS (Network File System) 是常用的网络文件系统，用户通过 NFS 可以像访问本地文件一样访问远程的文件，NFS 服务端和客户端之间通过 NFS 协议进行通信。

用户可以用 Ceph 提供的 ceph-fuse 挂载 CephFS 进行访问，也可以通过 ceph 的内核模块进行挂载访问，具体可参考Ceph 文件系统 CephFS 的介绍与配置。但有时候，由于各种原因，一些系统无法通过这两种方法访问 CephFS，我们可以将 CephFS 通过 NFS 协议发布出去，用户可以通过 NFS 客户端挂载发布出去的 CephFS。

NFS-Ganesha 挂载 CephFS

CephFS 可以通过 NFS-Ganesha 使用 NFS 协议发布出去。

准备条件

一个设置好的 CephFS 文件系统
在 NFS 服务器上，安装 libcephfs2、nfs-ganesha 和 nfs-ganesha-ceph (ganesha >= 2.5) 包。
NFS-Ganesha 服务器与 CephFS 网路相连。

安装 NFS-Ganesha

通过包管理器安装：

1	$ sudo yum install nfs-ganesha-fsal-ceph

通过源码安装：

$ mkdir -p ~/tmp/ && cd ~/tmp
$ git clone https://github.com/nfs-ganesha/nfs-ganesha.git
$ mkdir build && cd build
$ cmake -DUSE_FSAL_CEPH=ON ../nfs-ganesha
$ make && sudo make install

配置 NFS-Ganesha

关闭防火墙或打开 2049 端口：

### turn off firewall
$ sudo systemctl disable --now firewalld
$ sudo systemctl disable --now iptables
### or open port 2049
$ sudo firewall-cmd --permanent --add-port=2049/tcp
$ sudo firewall-cmd --reload

启动 rpcbind 和 rpcstatd 服务：

1 2	$ sudo systemctl enable --now rpcbind $ sudo systemctl enable --now rpcstatd

复制 Ceph 配置文件到 /etc/ceph/ceph.conf
根据 NFS-Ganesha 的 Ceph 配置例子，创建 /etc/ganashe/ceph.conf，类似如下:

NFS_CORE_PARAM
{
Enable_NLM = false;
Enable_RQUOTA = false;
Protocols = 4;
}
NFSv4
{
    Allow_Numeric_Owners = true;
    Only_Numeric_Owners = true;
Delegations = active;
}
CACHEINODE
{
Dir_Chunk = 0;
NParts = 1;
Cache_Size = 1;
}
EXPORT
{
Export_ID = 1;
Protocols = 4;
Transports = TCP;
Path = /;
Pseudo = /cephfs/;
Access_type = RW;
Delegations = RW;
# Squash = root;
FSAL{
NAME = CEPH;
}
}

启动 NFS-Ganesha 服务：

1 2	$ sudo ganesha.nfsd -f /etc/ganesha/ceph.conf -L /var/log/ganesha.log -N NIV_CRIT $ sudo showmount -e

这样就把 CephFS 通过 NFS 协议导出了。值得注意的是，目前一个运行的 Ganesha 进程只能导出一个 CephFS 中的一个目录；如果多个 CephFS 或一个 CephFS 中的多个目录需要导出，需要有相应多个 Ganesha 进程。

NFS 客户端挂载

在 NFS 客户端服务器上挂载 CephFS 到 /cephfs：

### Usage:
$ sudo mount -t nfs4 -o nfsvers=4.1,protoc=tcp,rw,notime : 
### e.g.:
$ sudo mount -t nfs4 -o nfsvers=4.1,proto=tcp,rw,notime :/ /cephfs

这样用户就可以通过 NFS 协议访问 CephFS 了。

ceph-fuse 和 nfsd 挂载 CephFS

Ceph 提供了 ceph-fuse 来挂载和访问 CephFS。在 NFS 服务器上通过 ceph-fuse 挂载 CephFS 后，我们可以通过 nfsd 将其发布出去。

NFS 服务端设置

在 NFS 服务器上挂载 CephFS。
在 /etc/exports 中添加如下内容:

### Usage:
/path/to/mount * (rw,sync,no_root_squash,fsid=ceph-id)
### example:
/cephfs * (rw,sync,no_root_squash,fsid=87761f6e-f839-4597-bfe2-fd850d9a03cf)

运行 exportfs，并启动 rpcbind 和 nfs-server 服务，将该节点变成 NFS 服务器。

1
2
3

$ sudo exportfs
$ sudo systemctl enable --now rpcbind
$ sudo systemctl enable --now nfs-server

NFS 客户端挂载

跟前面一样，在 NFS 客户端上通过 NFS 协议挂载 CephFS：

1	$ sudo mount -t nfs4 -o nfsvers=4.1,proto=tcp,rw,notime :/cephfs /cephfs

这样用户就可以通过 NFS 协议访问 CephFS 了。

两种方案对比

参考文献

在 OpenStack 中将虚拟机实例转成启动镜像

2018-12-30T07:21:20.000Z

在 OpenStack 中，我们对虚拟机实例做了修改后，可以以此实例为模版创建新的虚拟机镜像，其过程也很简单。

创建实例的快照

找到将要作为模版的实例，并将其关掉。

$ source ~/keystonerc_admin
$ nova list
...
| 8e640acc-6cca-4a4a-8ca5-763150d107bd | my_instance    | ACTIVE  | -          | Running     | V2018=192.168.18.20 |
...
$ nova stop my_instance

确保实例已经关机。

$ nova list
...
| 8e640acc-6cca-4a4a-8ca5-763150d107bd | my_instance    | ACTIVE  | -          | SHUTOFF     | V2018=192.168.18.20 |
...

使用 nova image-create 创建实例快照。

1 2	$ nova image-create --poll my_instance my_instance_snp Server snapshotting... 100% complete

确保 Nova 镜像处于 ACTIVE 状态。

$ nova image-list
...
| 5c8e13b7-2eea-4bf7-9440-c1e7c603380f | my_instance_snp          | ACTIVE | 8e640acc-6cca-4a4a-8ca5-763150d107bd |
...

下载快照到本地

获取快照 ID。

$ nova image-list
...
| 5c8e13b7-2eea-4bf7-9440-c1e7c603380f | my_instance_snp          | ACTIVE | 8e640acc-6cca-4a4a-8ca5-763150d107bd |
...

将快照下载到本地。使用快照 ID 而不是名字。

1	$ glance image-download --file my_instance_image.qcow2 5c8e13b7-2eea-4bf7-9440-c1e7c603380f

如果需要，将镜像复制到新环境中。

从快照镜像生成镜像

1
2
3

$ glance --os-image-api-version 1 image-create --container-format bare --disk-format qcow2 -name "my_new_image" --file my_instance_image.qcow2
### or
$ glance --os-image-api-version 1 image-create --container-format bare --disk-format qcow2 -name "my_new_image" --copy_from my_instance_image_url

从新镜像启动新实例

1	$ nova boot --flavor m1.tiny --image my_new_image my_new_instance

参考

使用 Pandoc 来制作 HTML 和 beamer 风格的幻灯片

2018-12-28T05:06:46.000Z

Pandoc 是一款开源的文档格式转换工具，能够实现大部分的文件格式互转。这里我们主要用来将 Markdown 文档转换成 HTML 和 PDF 风格的幻灯片。 Markdown 语法、结构简单，只需要写出文档的提纲和结构，就能转换成简洁明了又美观的 Slides。

Pandoc - 格式转换利器

Pandoc 是全平台的转换工具，在命令行能够很方便的进行格式转换。 Pandoc 支持的格式及转换方式如下图所示。

更多的可以打开这里查看，可以看到 Pandoc 支持的格式是极多的。

Pandoc 的安装是非常简单的，可按照说明很方便地安装到系统中。

文档语法结构

Pandoc 支持标准的 Markdown 语法，但在结构上与一般的用 Markdown 写博客有点区别。

元数据

为了让 Pandoc 能渲染 Markdown 文件生成 Slides，需要在文档头部加上几行元数据信息。

1
2
3

% Title
% Author
% Tate

这样就能生成幻灯片的标题页了。

文档结构

一般情况下，一个 Markdown 文档只有一个一级标题。 Pandoc 中，默认情况下，一级标题代表一个章节，三个一级标题就是把幻灯片分为三部分；二级标题代表一张幻灯片；三级标题则一般是幻灯片内部的块。一个基本的文档结构如下所示

% Title
% Author
% Tate

# Part I
## slide I
- list 1
- list 2

## slide II
1. list 1
2. list 2

# Part II
## slide III
[amito](amito.me)
## slide IV
![picture](pic.png)

数学公式

Pandoc 支持转换 TeX 数学公式，能够将数学公式转换成 MathML，或者通过 MathJax 显示。

1
2
3

$\frac{a}{b^2+c^3}$

$$\frac{a}{b^2+c^3}$$

显示效果为：$\frac{a}{b^2+c3}$
$$\frac{a}{b^2+c3}$$

幻灯片样式

在 /usr/share/pandoc-xxx/data 下面有 Pandoc 自带的转换模版， html 幻灯片模版有 dszlides, html, html5, revealjs, s5, slideous, slidy 等等。下面简单介绍几种。

s5

s5 是很流行的 HTML 幻灯片模版，可以从网站上下载后使用，也可以在线使用。本地使用主要是其中的 ui/default, 将其复制到 markdown 所在目录。在线使用需要指定 s5-url

#### local
$ pandoc -s -t s5 -o s5.html s5.md
#### online
$ pandoc -s -t s5 -V s5-url=https://cdn.docbook.org/release/xsl-nons/current/slides/s5/ui/default/ -o s5.html s5.md

reveal.js

reveal.js 是非常火的 HTML 幻灯片库，本身支持 Markdown 语法。离线使用 reveal.js 需要将其下载下来，在线使用可以指定 revealjs-url。下载 reveal.js

1	$ git clone https://github.com/hakimel/reveal.js

渲染 markdown 文件生成 HTML 幻灯片，在线使用可以通过指定 revealjs-url 来使用。

1 2	$ pandoc -s -t revealjs -o h5.html h5.md $ pandoc -s -t revealjs -V revealjs-url=https://cdnjs.com/libraries/reveal.js/3.6.0 -o h5.htmnl h5.md

reveal.js 自带了一些模版可供选择，通过 -V css=/path/to/css 来指定自带的或自己定制的模版，

#### local
$ pandoc -s -t revealjs -V css=reveal.js/css/theme/night.css -o h5.html h5.md
#### online
url="https://cdnjs.com/libraries/reveal.js/3.6.0/"
$ pandoc -s -t revealjs -V revealjs-url=$url -V css=$url/css/theme/night.css -V -o h5.html h5.md

也可以修改 reveal.js 模版 /usr/share/pandoc-xxx/data/templates/default.revealjs。

$if(css)$
$for(css)$
    <link rel="stylesheet" href="$css$"/>
$endfor$
$else$
    <link rel="stylesheet" href="$revealjs-url$/css/theme/simple.css" id="theme">
$endif$

改为

$if(css)$
$for(css)$
    <link rel="stylesheet" href="$revealjs-url$/css/theme/$css$"/>
$endfor$
$endif$
$if(theme)$
    <link rel="stylesheet" href="$revealjs-url$/css/theme/$theme$.css" id="theme">
$else$
    <link rel="stylesheet" href="$revealjs-url$/css/theme/simple.css" id="theme">
$endif$

这样就可以简单指定theme了。

1	$ pandoc -s -t revealjs -V theme=night -o h5.html h5.md

Beamer 样式

Pandoc 能非常方便地将 markdown 转换为独立的 tex 文档，然后通过 tex 命令可以生成 pdf 幻灯片。

1 2	$ pandoc -s -t beamer -o slide.tex slide.md $ latexmk -pdf slide.tex

Beamer 模版

Pandoc 有默认的 beamer 模版，使用 platex 编译，如果不喜欢，可以参考默认模版 /usr/share/pandoc-xxx/data/templates/default.beamer 自己定制一个 beamer 模版，网上也有一些现成的模版，可以参考。下面是默认模版生成的幻灯片样式。

中文字体

首先查看系统中文字体：

1	$ fc-list :lang=zh

转换时指定字体：

1	$ pandoc -s -t beamer --pdf-engine=xelatex -V CJKmainfont=KaiTi srs.md -o srs.pdf

Markdown 文件中加入设置。默认的 beamer 模版中有 CJKmainfont 变量，指定后会使用 xeCJK 包：

---
CJKmainfont: STSong
CJKoptions:
  - BoldFont=STHeiti
  - ItalicFont=STKaiti
---

定制模版，这是比较方便的一种方式，能更改的地方也更多，这里是我根据网上模版修改过的。

参考

为 Nginx 创建自签名的 SSL 证书

2018-12-27T15:09:52.000Z

SSL 及其继任者 TLS 能够加密客户端与服务端的网络连接，保证网络传输信息的安全及完整性，不被他人窃取。有时我们会想要在本机测试加密网络连接，SSL 加密需要有一个 SSL 证书，我们可以为本机生成一个证书来测试。

自签名的 SSL 证书

使用 OpenSSL 创建一个自签名的单域名和泛著名的 SSL 证书很容易，一行命令主就可以。假设我们为本地的多个项目添加了多个 .local 结尾的域名。

1	$ openssl req -x509 -nodes -days 1024 -newkey rsa:4096 -keyout local.key -out local.crt

运行后的结果如下：

$ openssl req -x509 -nodes -days 1024 -newkey rsa:4096 -keyout local.key -out local.crt
Generating a 4096 bit RSA private key
..........................................++
..............++
writing new private key to 'local.key'
-----
You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [XX]:CN
State or Province Name (full name) []:Beijing
Locality Name (eg, city) [Default City]:Beijing
Organization Name (eg, company) [Default Company Ltd]:local
Organizational Unit Name (eg, section) []:local
Common Name (eg, your name or your server's hostname) []:local,*.local
Email Address []:me@amito.me

各选项含义比较明显，比较重要的是 Common Name，这是与要用 SSL 加密的域名或服务器 IP 相关的。如果是单域名，就填 local；要是有多个项目，就填 local,*.local。知道创建的过程后，就可以一行命令自动生成了。

1	$ echo -e "CN\nBJ\n\Beijing\nlocal\nlocal\nlocal,\*.local\nme@amito.me"\|openssl req -x509 -nodes -days 1024 -newkey rsa:4096 -keyout local.key -out local.crt

这样我们就在当前目录生成了一个 ssl 证书 local.crt 和对应的密钥 local.key。

创建 RootCA 及自签名证书

生成 Root SSL 证书

生成 Root Key

1	$ openssl genrsa -des3 -out RootCA.key 4096

生成 RootCA 证书

1	$ openssl req -x509 -new -nodes -key rootCA.key -sha256 -days 1024 -out rootCA.pem

信任 Root SSL 证书

生成网站 SSL 证书

配置 Nginx 使用 SSL

参考

LVM 调整分区大小

2018-12-25T12:09:56.000Z

最近在三台服务器上安装了系统，安装的时候选择的是自动分区，创建了一个 LVM 卷组，结果大部分空间都分给了 HOME ， root 很小。现在要求要将大部分空间重新分给 ROOT。常用的文件系统如 ext4，xfs 都能很方便地在线调整大小的。这里就简单记录一下如何调整分区大小的。

制作一个 Linux LiveCD 启动盘

对系统的 root 分区和 home 分区进行调整大小，可以直接线上调整大小。但是文件系统是 XFS 格式的，不好在线减少空间，就选取了这一个比较稳妥的方法 - 离线调整大小。

下载一个 LiveCD 镜像，然后刻录到 U 盘上，或者通过 grub2 引导镜像启动。

减小 HOME 分区大小

系统自动分区时创建了一个 LVM 卷组 /dev/centos，分为 swap、home、root 三个卷。在 Live 系统中，挂载 home 和 root 卷到：

1
2
3

$ sudo mkdir -p /mnt/{home,root}
$ sudo mount /dev/centos/root /mnt/root
$ sudo mount /dev/centos/home /mnt/home

默认分区格式为 XFS，无法减小大小。需要减小后重新格式化。减小之前做好数据备份。还好 home 卷内容很少。-_-…

1 2	$ sudo xfsdump -f /mnt/root/home/home.dump /mnt/home $ sudo umount /mnt/home

减小 home 卷大小

1 2	$ sudo lvreduce -L 25G /dev/centos/home $ sudo mkfs.xfs -f /dev/centos/home

恢复 home 数据

1
2
3

$ sudo mount /dev/centos/home /mnt/home
$ sudo xfsrestore -f /mnt/root/home/home.dump /mnt/home
$ sudo rm -f /mnt/root/home/home.dump

若是 ext4 分区，则要简单的多。

$ sudo lvreduce -L 25G /dev/centos/home
$ sudo resize2fs /dev/centos/home
### or simply and safely
$ sudo lvresize --resize --size 25G /dev/centos/home

增大 ROOT 分区大小

扩大 root 分区就比较简单了。

LVM 调整大小。

1	$ sudo lvextend -l +100%FREE /dev/centos/root

xfs 分区确认大小调整

1	$ sudo xfs_growfs /dev/centos/root

ext4 分区确认大小调整

1	$ sudo resize2fs /dev/centos/root

确认调整后的分区大小

$ sudo lsblk
NAME                                   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda                                      8:0    0   931G  0 disk
├─sda1                                   8:1    0   200M  0 part /boot/efi
├─sda2                                   8:2    0     1G  0 part /boot
└─sda3                                   8:3    0 929.8G  0 part
  ├─centos-root                        253:0    0 900.8G  0 lvm  /
  ├─centos-swap                        253:1    0     4G  0 lvm  [SWAP]
  └─centos-home                        253:2    0    25G  0 lvm  /home

重启系统

调整好之后，就可以重启系统了。

在线调整大小

一般分区只能在线扩容，不能减少。鉴于 home 分区没有使用，可以不用重启系统到 Live 系统。确保没有程序在使用 home 分区后，备份 home 分区，然后可以按照上面的步骤进行调整大小了。不过在线调整大小有风险，最好提前做好数据备份。

在这篇回答中，提到了一种不重启减小 root 分区的方法，不过，如无必要，建议使用 Live 系统减小 root 分区容量。

通过网络远程安装 CentOS 7

2018-12-07T14:37:17.000Z

最近工作中需要将几台服务器重装系统, 将 CentOS 6 换成最新的 CentOS 7.5. 于是研究了一下怎么从 grub lagecy 和 grub2 通过网络来升级或安装 CentOS 7.

从 grub 通过网络安装很容易, 还可以设置 VNC 远程安装. 从 CentOS 6 安装 CentOS 7, 和对 CentOS 7 重装比较类似.

从 CentOS 6 安装 CentOS 7

在启动之前, 我们需要下载 vmlinuz 和 initrd.img 到 /boot/netinstall 文件夹下, 如果哦已经无法进入系统, 可以放在一个可以访问的 U 盘上.

CentOS 6 的启动方式是 grub lagecy, 配置文件是 /boot/grub/grub.conf, 我们需要在启动项开始或结束加入一个新的启动项. 如果已经无法进入系统, 在 grub 没有毁坏的情况下, 在启动选择界面按c进入手动输入模式, 输入以下启动命令.

title CentOS 7 Install
root (hd0,2)
kernel /netinstall/vmlinuz ro ip=192.168.1.10 netmask=255.255.255.254 gateway=192.168.1.1 dns=1.1.1.1 method=http://mirrors.ustc.edu.cn/centos/7/os/x86_64 lang=en_US keymap=us ksdevice=eth0
initrd /netinstall/initrd.img

其中, ip, netmask, gateway, dns 是网络连接信息, method 是网络安装包位置. 根据需要修改网络信息和安装位置. 根据 /boot 所在位置和所下载文件位置, 修改相应路径. 如果要利用 vnc 通过远程拖动进行安装, 需要在kernel 语句后面加上 vnc vncpassword=MyPassword 就可以了. 另外, 如果默认网卡不是 eth0, 比如eno1 的话, 需要在 kernel 命令行加上 ksdevice=eno1

如果一切没有问题, 之后便会进入图形化安装界面. 如果想自动进行安装, 你可以指定 Kickstart 安装文件. 并在 kernel 语句后面加上文件位置如 ks=http://localfile/centos7.ks, 这样就会自动进行安装了, 当然需要实现准备好 ks 文件.

从 CentOS 7 重装 CentOS 7

重装 CentOS 7 的过程与从 CentOS 6 安装 CentOS 7 类似. CentOS 7 使用的引导器是 grub2, 启动项参数相应有些改变.

menuentry "CentOS-7-Install"{
set root=(hd0,msdos2)
linux /netinstall/vmlinuz ro ip=192.168.1.10::192.168.1.1:255.255.255.254:my_hostname:eth0:none nameserver=1.1.1.1 inst.repo=http://mirrors.ustc.edu.cn/centos/7/os/x86_64/ inst.vnc inst.vncpassword=MyPassword ksdevice=eth0 ks="http://where.my.ks.file.is" inst.lang=en_US inst.keymap=us
initrd /netinstall/initrd.img
}

其中 ip 的格式为 ip::gateway:netmask:hostname:interface:none, 或者 ip=dhcp.如果硬盘是 GPT 格式的,则需要将 (hd0,msdos2) 改成 (hd0,gpt2), 且要加上 inst.gpt 选项. 同样的，需要注意网卡名 interface 和 ksdevice 一定要正确。之后重启进入 CentOS 7 安装：

1	grub2-reboot CentOS-7-Install

这样重启后一般就会进入自动化安装 CentOS 7 的程序啦.

Kickstart 配置文件

一般安装好 CentOS 或 Fedora 后, 会在 /root 下有一个 anaconda-ks.cfg, 这就是一个 Kickstart 配置文件, 可以参考这个修改成适合自己的安装脚本。RHEL/CentOS 有一个图形化的配置工具 system-config-kickstart 可以简化 Kickstart 文件的生成配置。

下面是一个简单的 ks 配置文件。

#version=DEVEL
# System authorization information
auth --enableshadow --passalgo=sha512
# Use network installation
url --url="http://mirror.ihep.ac.cn/centos/7/os/x86_64"
# Use graphical install
graphical
# Run the Setup Agent on first boot
firstboot --enable
ignoredisk --only-use=sda
# Keyboard layouts
# old format: keyboard us
# new format:
keyboard --vckeymap=us --xlayouts='us'
# System language
lang en_US.UTF-8
# Network information
network  --bootproto=static --device=eno1 --gateway=202.122.33.1 --ip=202.122.33.38 --nameserver=202.122.33.44 --netmask=255.255.255.128 --ipv6=auto --activate
network  --bootproto=dhcp --device=eno2 --onboot=off --ipv6=auto
network  --bootproto=dhcp --device=eno3 --onboot=off --ipv6=auto
network  --bootproto=dhcp --device=eno4 --onboot=off --ipv6=auto
network  --hostname=localhost.localdomain
# Root password
rootpw --iscrypted $6$7Xg630Hqe96PUCMu$mUzleXYhsnNBxHl.U1AZTGGVSqJ6U/7n2.psJ8nlXg0.MMFcEjngSAytOZhD8yM52d2s3PF7vpojhiF6s0iT2/
# System services
services --enabled="chronyd"
# System timezone
timezone Asia/Harbin --isUtc
user --groups=wheel --name=eos --password=$6$VWhRMFl9A7LKcekg$0zZOGfO2ezcfbGPRLbNVsrzylddEmlsFw5WTkZSa/0Oh5IGxVXvljRAn8O/sSFxdtHKiqioSYXXZpJ/ipqOaA/ --iscrypted --uid=1000 --gecos="eos" --gid=1000
# System bootloader configuration
bootloader --append=" crashkernel=auto" --location=mbr --boot-drive=sda
# Partition clearing information
clearpart --all --initlabel --drives=sda
# Disk partitioning information
part /data --fstype="ext4" --ondisk=sda --size=123775 --label=data
part swap --fstype="swap" --ondisk=sda --size=8191
part / --fstype="ext4" --ondisk=sda --size=51200 --label=root
part /var --fstype="ext4" --ondisk=sda --size=102400 --label=var
part /boot --fstype="ext4" --ondisk=sda --size=500 --label=boot
%packages
@^developer-workstation-environment
@base
@core
@debugging
@desktop-debugging
@development
@dial-up
@directory-client
@file-server
@fonts
@gnome-apps
@gnome-desktop
@guest-desktop-agents
@hardware-monitoring
@input-methods
@internet-applications
@internet-browser
@java-platform
@load-balancer
@mariadb
@multimedia
@network-file-system-client
@performance
@perl-runtime
@print-client
@python-web
@ruby-runtime
@system-admin-tools
@virtualization-client
@virtualization-hypervisor
@virtualization-tools
@web-server
@x11
chrony
kexec-tools
%end
%addon com_redhat_kdump --enable --reserve-mb='auto'
%end
%anaconda
pwpolicy root --minlen=6 --minquality=1 --notstrict --nochanges --notempty
pwpolicy user --minlen=6 --minquality=1 --notstrict --nochanges --emptyok
pwpolicy luks --minlen=6 --minquality=1 --notstrict --nochanges --notempty
%end

需要特别注意的是，安装位置选择硬盘一定要慎重，一定要确定好所选硬盘和分区方案后，才能进行安装，否则容易造成数据丢失。

参考

Ceph 集群停机维护一般过程

2018-11-30T08:59:56.000Z

Ceph 集群运行久了，需要对其进行停机维护。而停止 Ceph 服务需要按照一定的流程来进行，以避免 Ceph 集群出现性能问题。

停机维护

关掉所有使用 Ceph 集群的客户端
保证集群的健康状态(healthy state) 为 OK
设置 OSD flags

## osd no out
$ ceph osd set noout
## not backfill data to other osd
$ ceph osd set nobackfill
## not recover
$ ceph osd set norecover
## 上面一些flags 对于关掉集群应该已经足够安全了，
## 还可以设置如下的flags以完全停止集群
$ ceph osd set norebalance
$ ceph osd set nodown
$ ceph osd set pause

依次关掉 Ceph 的客户端节点
查看 Ceph Service

$ ceph -s
  cluster:
    id:     1272c14d-2389-48db-a313-02600a50212f
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph01,ceph02,ceph03
    mgr: ceph03(active), standbys: ceph02, ceph01
    mds: cephfs-1/1/1 up  {0=ceph03=up:active}, 2 up:standby
    osd: 18 osds: 18 up, 18 in

依次关掉 Ceph MDS/FUSE 服务

### MDS && FUSE
for i in ceph0{1..3}; do
ssh $i "systemctl stop ceph-fuse@-ceph.service; systemctl stop ceph-mds@${i}.service"
done
###

依次关停 Ceph 的 OSD 服务

### OSD
for i in $(ceph osd status | awk '/ceph/{print $2 ":" $4}');do
idx=$(echo $i|awk -F : '{print $1}')
host=$(echo $i | awk -F : '{print $2}')
ssh $host "systemctl stop ceph-osd@${idx}.service"
done

依次关停 Ceph 的 Mon 服务

1
2
3

for i in ceph0{1..3};do
ssh $i "systemctl stop ceph-mon@${i}.service"
done

依次关停 Ceph 的 MGR 服务

1
2
3

for i in ceph0{1..3}; do
ssh $i "systemctl stop ceph-mgr@${i}.service"
done

进行关机等维护工作

开机启动 Ceph 集群

启动 MGR 节点
启动 MOM 节点
启动 OSD 节点
在所有节点启动上线后，确认所有服务都已正常
取消之前设置的 flags

$ ceph osd unset noout
$ ceph osd unset nobackfill
$ ceph osd unset norecover
$ ceph osd unset norebalance
$ ceph osd unset nodown
$ ceph osd unset pause

检查 Ceph 健康状态，确定为 OK。
检查 Ceph 客户端是否能连接上 Ceph 集群

参考

DocDB 介绍，安装与配置维护

2018-11-13T01:56:20.000Z

DocDB 是一个功能强大且灵活的协作文档服务器。最初是由 Fermilab 的 BTeV 合作组开发的，现在已用于其他 20 多个实验的文档协作。 DocDB非常适合用于在几百人的合作组间管理和分享文档。

安装 DocDB

DocDB 的安装包括三部分：1). 一个关系数据库，用来存储文档信息, 2). 一个文件系统，用来存储文档本身和 3). 一个合适的 CGI 脚本，用来提供文档和其信息的一致访问。

DocDB 在 MySQL 数据库中维护着一份文档的版本列表。存储的信息包括作者, 标题，主题,事件, 创建与修改时间, 修订版本号, 简介,关键字,文档类型, 指向实际文件的指针, 访问限制信息 等等。
对 DocDB 的访问由运行在 Web 服务器上的 CGI 脚本控制。
当一个文件上传到 DocDB 时，文档(从本地硬盘或 url)被复制到 Web 服务器下的一个目录，文档可能由多个文件构成。
文档会被集中复制到一个位置，这样当有人整理或删除文档时，它们就不会消失。这也有助于集中化备份。
对文档的更改会生成一个新版本的文档。此时旧的文档仍可以访问，提供历史存档功能。不同版本有着不同的访问限制，因此文档可以在私有状态进行修改，然后正式发布。
DockDB 包含一个健壮的事件和议程管理系统，可以允许全大小的文档与会议结合起来。

下面就简单介绍一下如何安装 DocDB。

安装配置 MySQL

Fedora/CentOS 下可以使用 MariaDB，也可以下载 MySQL 安装

### Fedora/CentOS
$ sudo yum install -y mariadb mariadb-server mariadb-devel
### Ubuntu/Debian
$ sudo apt install -y mariadb mariadb-client mariadb-server mariadb-common
### start mariadb server
$ sudo systemctl enable --now mariadb
### set root password
$ sudo mysql_secure_installation
...

为 DocDB 创建新的 MySQL 用户和数据库：

$ mysql -u root -p
Enter password:
...
### User
MariaDB [(none)]> create user 'docdbadmin'@'localhost' identified by 'admin_password';
MariaDB [(none)]> create user 'docdbrw'@'localhost' identified by 'rw_password';
MariaDB [(none)]> create user 'docdbro'@'localhsot' identified by 'ro_password';
### Database
MaraiDB [(none)]> create database 'docdb';
### Grant Privileges
MariaDB [(none)]> grant all on docdb.* to 'docdbadmin'@'localhost' identified by 'admin_password';
MariaDB [(none)]> grant select,insert,update,delete,create on docdb.* to 'docdbrw'@'localhost' identified by 'rw_password';
MariaDB [(none)]> grant select on docdb.* to 'docdbro'@'localhost' identified by 'ro_password';

安装 Perl 模块

下载 DocDB

现在 DocDB 主要在 Github 上发布，在这里下载最新的版本：

1	$ wget https://github.com/ericvaandering/DocDB/archive/8.8.9.tar.gz -O DocDB-8.8.9.tar.gz

配置 EOS 使用 QuarkDB 作为 NS

2018-10-24T05:20:27.000Z

QuarkDB 被设计用来作为 EOS 下一代的 Namespace. 要使用 QuarkDB, EOS 版本必须是 4.4.0 以上. 目前 (2018.11.1) EOS 稳定版本是 4.3.12, github 上的版本则到了 4.4.10. 要安装 4.4.0 以上版本, 可以从 EOS 的 commit 源安装. 本文主要参考 Namespace in QuarkDB configuration.

搭建一个 QuarkDB 集群

为了使用 QuarkDB 作为 EOS MGM 的 namespace, 我们首先要搭建一个 QuarkDB 集群, 可以参考搭建并运行管理 QuarkDB 集群) 安装好 QuarkDB 并搭建好一个有三个 quardb node 如 qdb-1:7777, qdb-2:7777, qdb-3:7777 的集群.

配置 EOS MGM 使用 QuarkDB

要将 MGM 服务与 QuarkDB 整合到一起, 我们要对 /etc/xrd.cf.mgm 做一些修改.

修改 mgm.nslib 指令, 导入 Namespace 的 QuarkDB 实现.

1	mgm.nslib /usr/lib64/libEosNsQuarkdb.so

列出 MGM 进程连接的 QuarkDB 集群的端点.

1	mgmofs.qdbcluster qdb-1:7777 qdb-2:7777 qdb-3:7777

如果 QuarkDB 启用了密码认证，则要修改以下选项：

1 2	mgmofs.cfgtype quarkdb mgmofs.qdbpassword_file /etc/qdb.passwd

其中 /etc/qdb.passwd 是 QuarDB 的密码文件.
4. 以 master 模式运行 MGM 服务.

1 2	$ systemctl start eos@master $ systemctl start eos@mgm

如果一切正常, 可以看到如下一些进程.

1 2	$ ps aux\|grep xrootd ...

在生产环境下, 为了有更好的性能, 应该:

QuarkDB 集群服务和 MGM 服务运行在不同的节点上.
至少 QuarkDB 主进程的 /var/lib/quarkdb/ 文件夹应存储到 SSD 分区.

内存 NS 到 QuarkDB NS 的转化

使用 eos-log-compact 工具压缩 Changelog 文件:

1 2	$ eos-log-compact /var/eos/md/file.mdlog /var/eos/md/compacted_file.mdlog $ eos-log-compact /var/eos/md/directory.mdlog /var/eos/md/compacted_directory.mdlog

压缩需要将 namespace 整体加载到内存中, 因此压缩 log 的机器必须有足够大的内存来保存 namespace 数据结构. 为了更好的性能, 建议 changelog 文件也应该存储在 SSD 分区.

为了加速初始的导入, QuarkDB 有一个特殊的 bulkload 配置模式, 在这种模式下, 我们期待只做的就是向后端写入, QuarkDB 中的数据压缩只发生在导入最后阶段. 因此减少了I/O次数,加速了整个过程.

使用 quarkdb-create 工具创建一个压缩用 QuarkDB 集群, 下面是一个 QuarkDB 配置文件的例子:

xrd.port 7777
xrd.protocol redis:7777 /usr/lib64/libXrdQuarkDB.so
redis.mode bulkload
redis.database /var/lib/quarkdb/convert/

启动 QuarkDB 集群后, 我们可以使用 eos-ns-convert 工具来进行实际的 namespace 转换过程:

1	$ eos-ns-convert /var/eos/md/compacted_file.mdlog /var/eos/md/compacted_directory localhost 7777

eos-ns-convert 必须使用压缩后的 changelog 文件作为输入.

等 bulkload 完成后, 就可以关掉 QuarkDB 实例, 然后使用 quarkdb-create 在不同的位置建一个新的 QuarkDB 目录, 列出组建 QuarkDB 集群的节点. 新建的 QuarkDB raft-journal 目录可以删除掉. 存储在 /var/lib/quarkdb/convert 的 raft 日志可以利用 cp/scp/rsync 等等复制到新的 QuarkDB 集群的所有实例上. 确保 QuarkDB 集群是运行在 raft 模式而不是 bulkload 模式. 复制完成后, QuarkDB 集群所有实例就可以启动了, 系统会很快达到一个主节点多个副本节点的稳定配置状态.

Ceph 文件系统 CephFS 的介绍与配置

2018-10-02T13:56:07.000Z

Ceph File System (CephFS) 是与 POSIX 标准兼容的文件系统, 能够提供对 Ceph 存储集群上的文件访问. Jewel 版本(10.2.0) 是第一个包含稳定 CephFS 的 Ceph 版本. CephFS 需要至少一个元数据服务器 (Metadata Server - MDS) daemon (ceph-mds) 运行, MDS daemon 管理着与存储在 CephFS 上的文件相关的元数据, 并且协调着对 Ceph 存储系统的访问.

Ceph 文件系统简介

CephFS 会在任何可能的情况下使用 POSIX 方法. 例如, CephFS 会在所有客户端之间保持缓存强一致性, 但在某些情况下, CephFS 会与严格的 POSIX 语义有些区别.

CephFS 架构

下图展示了 CephFS 的层次结构:

底层是核心集群所依赖的, 包括:

OSDs (ceph-osd): CephFS 的数据和元数据就存储在 OSDs 上
MDS (ceph-mds): Metadata Servers, 管理着 CephFS 的元数据
Mons (ceph-mon): Monitors 管理着集群 Map 的主副本

Ceph 存储集群的协议层是 Ceph 原生的 librados 库, 与核心集群交互.

CephFS 库层包括 CephFS 库 libcephfs, 工作在 librados 的顶层, 代表着 Ceph 文件系统.

最上层是能够访问 Ceph 文件系统的两类客户端.

CephFS 主要特性

CephFS 的限制

配置 CephFS MDS

要使用 CephFS，至少就需要一个 metadata server 进程。可以手动创建一个 MDS，也可以使用 ceph-deploy 或者 ceph-ansible 来部署 MDS。

ceph-deploy 部署 MDS

1	$ ceph-deploy mds create mds [mds2 ...]

手动部署 MDS

建立 MDS 元数据文件夹

1	$ sudo mkdir -p /var/lib/ceph/mds/ceph-{$id}

为提高性能，可以将该文件夹挂载到 SSD 上。
2. 在 /etc/ceph/ceph.conf 中加入下面一节

1 2	[mds.{$id}] host = {hostname}

创建认证密钥

1	$ sudo ceph auth get-or-create mds.{$id} mon 'profile mds' mgr 'profile mds' mds 'allow ' osd 'allow ' > /var/lib/ceph/mds/ceph-{$id}/keyring

启动 MDS 服务

1	$ sudo systemctl enable --now ceph-mds@{$id}

查看集群状态：

$ ceph -s
...
mds: cephfs_a-1/1/1 up  {0=c=up:active}, 3 up:standby
...

移除一个 MDS

如果想要移除集群中的一个 MDS，可以通过如下步骤

先创建一个 MDS
停止旧的 MDS, 启用新的 MDS

1	$ ceph mds fail

移除旧 MDS 的数据文件夹

1	$ sudo rm -rf /var/lib/ceph/mds/ceph-{$id}

部署 Ceph 文件系统

部署一个 CephFS, 步骤如下:

在一个 Mon 节点上创建 Ceph 文件系统.
若使用 CephX 认证, 需要创建一个访问 CephFS 的客户端
挂载 CephFS 到一个专用的节点.
- 以 kernel client 形式挂载 CephFS
- 以 FUSE client 形式挂载 CephFS

创建一个 Ceph 文件系统

CephFS 需要两个 Pools - cephfs-data 和 cephfs-metadata, 分别存储文件数据和文件元数据:

1 2	$ ceph osd pool create cephfs-data 256 256 $ ceph osd pool create cephfs-metadata 64 64

一般 metadata pool 可以从相对较少的 PGs 启动, 之后可以根据需要增加 PGs. 因为 metadata pool 存储着 CephFS 文件的元数据, 为了保证安全, 最好有较多的副本数. 为了能有较低的延迟, 可以考虑将 metadata 存储在 SSDs 上.
2. 安装 ceph-common 包:

1	$ sudo yum install -y ceph-common

创建一个 CephFS, 名字为 cephfs:

1	$ ceph fs new cephfs cephfs-metadata cephfs-data

验证至少有一个 MDS 已经进入 Active 状态:

1	$ ceph fs status cephfs

创建访问 CephFS 和客户端

在 Monitor 上, 创建一个用户:

### usage:
$ ceph auth get-or-create client. 
### e.g.:
$ ceph auth get-or-create client.cephfs mon 'allow r' mds 'allow rw' osd 'allow rw pool=cephfs-data, allow rw pool=cephfs-metadata'

验证生成的 key：

### usage:
$ ceph auth get client.
### e.g.:
$ ceph auth get client.cephfs

将 client keyring 复制到 client 节点的 /etc/ceph 目录下，并修改权限：

1 2	$ sudo scp root@mon1:/etc/ceph/ceph.client.cephfs.keyring /etc/ceph/ceph.client.cephfs.keyring $ sudo chmod 644 /etc/ceph/ceph.client.cephfs.keyring

以 kernel client 形式挂载 CephFS

可以手动用 mount 命令挂载 CephFS 或者通过 /etc/fstab 自动挂载 CephFS.

手动挂载

建立挂载点, 例如 /cephfs:

1	$ sudo mkdir -p /cephfs

挂载 CephFS. 列出多个 Monitors 的地址, 指定 CephX 所需的密钥文件和客户端名, 注意不是 keyring file:

1	$ sudo mount -t ceph mon1:6789,mon2:6789,mon3:6789/ /cephfs -o name=cephfs,secretfile=/etc/ceph/cephfs.secret

验证 CephFS 已经成功挂载:

1	$ stat -f /cephfs

自动挂载

创建挂载点:

1	$ sudo mkdir -p /cephfs

编辑 /etc/fstab 文件:

1	$ echo "mon1:6789,mon2:6789,mon3:6789:/ /cephfs ceph name=cephfs,secretfile=/etc/ceph/cephfs.key,_netdev,noatime 0 0" \| sudo tee -a /etc/fstab

重启或者:

1	$ sudo mount -a

以 FUSE client 形式挂载 CephFS

同样地, 可以手动通过 ceph-fuse 挂载或者通过向 /etc/fstab 添加挂载项自动挂载.

将 ceph.conf 从 Monitor 节点复制到客户端节点,

1 2	$ sudo scp root@mon1:/etc/ceph/ceph.conf /etc/ceph/ceph.conf $ sudo chmod 644 /etc/ceph/ceph.conf

客户端上安装 ceph-fuse:

1	$ sudo yum install ceph-fuse -y

手动挂载

创建挂载点, 例如 /cephfs:

1	$ sudo mkdir -p /cephfs

使用 ceph-fuse 挂载 CephFS, 如果对应的 keyring 不在 /etc/ceph 下, 则要显示指定:

1	$ sudo ceph-fuse -n client.cephfs [--keyring /etc/ceph/client.cephfs.keyring] /cephfs

验证 CephFS 已经成功挂载:

1	$ stat -f /cephfs

自动挂载

创建挂载点:

1	$ sudo mkdir -p /cephfs

向 /etc/fstab 添加一项:

1
2
3

$ echo "none /cephfs fuse.ceph ceph.id=cephfs[,ceph.conf=/etc/ceph/ceph.conf],_netdev,defaults 0 0"| sudo tee -a /etc/fstab
### or
$ echo "id=cephfs,conf=/etc/ceph/ceph.conf /mnt/ceph2  fuse.ceph _netdev,defaults 0 0"| sudo tee -a /etc/fstab

挂载 CephFS:

1
2
3

$ sudo mount -a
## or
$ sudo reboot

管理 Ceph 文件系统

卸载 Ceph 文件系统

卸载以 kernel clients 形式挂载的 CephFS

跟卸载其他挂载的磁盘一样：

### usage:
$ sudo umount 
### e.g.:
$ sudo umount /cephfs

卸载以 FUSE client 形式挂载的 CephFS

### usage:
$ fusermount -u 
### e.g.:
$ sudo fusermount -u /cephfs

CephFS 管理命令

文件系统

创建一个 CephFS。

1	ceph fs new

Ceph 默认只能创建一个 CephFS，若要创建多个，需要设置可创建多个文件系统：

1	ceph fs flag set enable_multiple true

列出所有文件系统：

1	ceph fs ls

导出文件系统元数据。

1	ceph fs dump

删除文件系统。

1	ceph fs rm [--yes-i-really-mean-it]

获取文件系统设置。

1	ceph fs get

更改文件系统设置。

1	ceph fs set

增加/删除数据 Pool

## add data pool
ceph fs add_data_pool  
## del data pool
ceph fs rm_data_pool

设置

更改最大文件大小限制：

1	ceph fs set max_file_size in bytes>

如果大小设为0，不意味着大小没有限制，而是只能创建大小为0的文件。最大文件大小过大

兼容性设置。设置客户端最小兼容版本

## usage
ceph fs set  min_compat_client 
## e.g.
ceph fs set cephfs min_compat_client naultilus

上线/下线文件系统

下线 CephFS

1	ceph fs set down true

上线 CephFS

1	ceph fs set down false

手动部署一个 Ceph 存储集群

2018-09-30T05:56:23.000Z

Ceph 提供了 ceph-deploy 工具可以很方便地部署一个 Ceph 集群，为了更好理解和管理 Ceph 集群，我们也可以手动部署一个 Ceph 集群。

所有的 Ceph 集群都心须有一个 monitor，然后有尽可能多的 OSDs 来存储对象。 Monitors 自举是部署 Ceph 集群的第一步, Monitors 的部署也为整个集群设定了非常重要的条件，比如 Pools 副本数量，每个 OSD 上的 PG 数，心跳间隔、是否要求认证等等。大多数的选项都被设置成默认值。

接下来我们会建立一个有2个 Monitor nodes 同时作为 OSDs nodes 的 Ceph 集群。

手动部署 Ceph 集群

Monitor 自举

一个 Monitor 自举需要以下几个方面：

唯一标志符： fsid 是集群的的一个唯一标志符，当 Ceph 用做 Ceph FileSystem时，也代表着文件系统 ID。现在 Ceph 支持原生接口，块设备，以及对象存储网关接口等等。所以 fsid 现有点用词不当。
集群名字: Ceph 集群有一个集群名字，是一个没有空格的字符串。默认的名字是 ceph，可以指定一个不同的名字。当在管理多个集群时，给集群起一个名字是非常有用的，你需要明确指定你要操作的是哪个集群。这里我们使用 amito 作为集群名字。
Monitor 名字: 每一个 monitor 实例都有一个唯一的名字，一般地， Ceph Monitor 名字就是 host 名字。官方推荐 Ceph 的 OSD 实例不要和 Monitor 在同一个 node 上。
Monitor Map：初始的 Monitors 自举要求我们生成一个 monitor map。 Monitor map 需要 fsid，集群名字，还有至少一个节点名字与 IP 地址。
Monitor Keyring: Ceph 中 Monitors 是使用 keyring 来进行认证的来互相通信的，所以需要一个 keyring, 我们需要生成提供一个 monitor secret。
Administrator Keyring: 管理节点也需要一个 keyring 来与集群交互, 使用的用户为 client.admin。

前面的要求并不是指 Ceph 配置文件的生成。但为了方便，官方建议创建一个包含 fsid，mon initial members 和 mon host 的Ceph 配置文件。步骤如下：

登陆到初始 monitor 节点上

1	$ ssh mon-host

确保 /etc/ceph 文件夹存在, 安装 ceph 时会创建这一个文件夹。

1	$ ls /etc/ceph

创建一个 Ceph 配置文件，默认为 /etc/ceph/ceph.conf，这里为 /etc/ceph/amito.conf

1	$ sudo vim /etc/ceph/amito.conf

为集群生成一个唯一 ID (fsid)

1
2
3

$ uuidgen > uuid.txt
$ cat uuid.txt
17e4176b-29c6-4479-bb8c-72e0918d908c

将这唯一 ID 加到 amito.conf 中。

1	fsid = 17e4176b-29c6-4479-bb8c-72e0918d908c

添加初始 monitors 到 Ceph 配置文件中

1	mon initial members = node1, node2

添加初始 monitors 的 IPs 到 Ceph 配置文件中

1	mon host = 192.168.10.1, 10=92.168.10.2

为集群生成一个 keyring, 并生成一个 monitor secret key

1	$ ceph-authtool --create-keyring /tmp/amito.mon.keyring --gen-key -n mon. -cap mon 'allow *'

生成一个 administrator keyring，一个 client.admin 用户，并加到 keyring 中

1	$ sudo ceph-authtool --create-keyring /etc/ceph/amito.client.admin.keyring --gen-key -n client.admin --cap mon 'allow ' --cap osd 'allow ' --cap mds 'allow ' --cap mgr 'allow '

创建一个 bootstrap－osd keyring, 生成一个 bootstrap-osd 用户，并加到 keyring 中

1	sudo ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/amito.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd'

将生成的 keyrings 加到 amito.mon.keyring 中

1
2

$ sudo ceph-authtool /tmp/amito.mon.keyring --import-keyring /etc/ceph/amito.client.admin.keyring
$ sudo ceph-authtool /tmp/amito.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/amito.keyring

使用 节点名，IP地址，和 fsid 生成一个 monitor map，保存到 /tmp/monmap

$ monmaptool --create --add {hostname} {ip-address} --fsid {uuid} /tmp/monmap
### e.g.
$ monmaptool --create --add node1 192.168.10.1 --fsid {uuid} /tmp/monmap
$ monmaptool --add node2 192.168.10.2 --fsid {uuid} /tmp/monmap

在 monitor 节点上创建默认的数据文件夹

1
2
3

$ sudo mkdir -p /var/lib/ceph/mon/{cluster-name}-{hostname}
### e.g.
$ sudo mkdir -p /var/lib/ceph/mon/amito-node1

利用 monitor map 和 keyring 配置 Mon 节点.

### usage:
$ sudo ceph-mon [--cluster cluster-name] --mkfs -i {hostname}  --monmap  /tmp/monmap --keyring /tmp/ceph.mon.keyring
### e.g.
$ sudo ceph-mon --cluster amito --mkfs -i 192.168.10.1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

设置 Ceph 配置文件. 如下是一个例子.

[global]
fsid = 17e4176b-29c6-4479-bb8c-72e0918d908c
mon initial members = node1
mon host = 192.168.10.1
public network = 192.168.0.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx
osd journal size = 1024
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 256
osd pool default pgp num = 256
osd crush chooseleaf type = 1

创建完成文件. 标记 monitor 已经创建完并可以启动.

### usage:
$ sudo touch /var/lib/ceph/mon/{cluster-name}-{hostname}/done
### e.g.
$ sudo touch /var/lib/ceph/mon/amito-node1/done

启动 Ceph Monitor.

### systemd
$ sudo su -c 'echo "CLUSTER={cluster-name}" > /etc/sysconfig/ceph'
$ sudo systemctl enable --now ceph-mon@{hostname}
###　older debian, centos or rhel
$ sudo /etc/init.d/ceph start mon.{hostname}
### e.g.
$ sudo systemctl enable --now ceph-mon@node1

查看 Ceph 集群状态.

$ ceph -s
cluster:
  id:     17e4176b-29c6-4479-bb8c-72e0918d908c
  health: HEALTH_OK

services:
  mon: 2 daemons, quorum node1, node2
  osd: 0 osds: 0 up, 0 in

data:
  pools:   0 pools, 0 pgs
  objects: 0 objects, 0 bytes
  usage:   0 kB used, 0 kB / 0 kB avail
  pgs:

设置 Ceph Manager

生成一个认证 Key

1 2	$ name={hostname} $ ceph --cluster amito auth get-or-create mgr.$name mon 'allow profile mgr' osd 'allow ' mds 'allow '

将生成的 Key 放在 mgr data 文件夹, 一般是在 /var/lib/ceph/mgr/{cluster-name}-{name}
2. 启动 ceph-mgr:

1	$ sudo ceph-mgr -i $name

查看 mgr 状态:

1
2
3

$ ceph -s
...
mgr status: ${name}

一般为了高可用, 每个 mon 节点都应该运行一个 mgr 进程.

添加 OSD

在初始 monitors 开始运行后, 我们就该添加 OSDs 到集群中了. 集群只有在有足够的 OSDs 来处理对象副本数量时才会达到 active+clean 状态.

自动模式

BLUSTORE

创建 OSD: 联合模式

$ ssh node1
$ sudo ceph-volume lvm create --data {data-path}
### e.g.
$ sudo ceph-volume lvm create --data /dev/sdb1

创建 OSD: 分裂模式

#### 1. prepare osd
$ sudo ceph-volume lvm prepare --data {data-path}
$ sudo ceph-volume lvm list
### e.g.
$ sudo ceph-volume lvm prepare --data /dev/sdb2
#### 2. activate osd
$ sudo ceph-volume lvm activate {ID} {FSID}
### e.g
$ sudo ceph-volume lvm activate 1 17e4176b-29c6-4479-bb8c-72e0918d908c

FILESTORE

创建 OSD: 联合模式

$ ssh node1
$ sudo ceph-volume lvm create --filestore --data {data-path}
### e.g.
$ sudo ceph-volume lvm create --filestore --data /dev/sdb3

创建 OSD: 分裂模式

#### 1. prepare osd
$ sudo ceph-volume lvm prepare --filestore --data {data-path}
$ sudo ceph-volume lvm list
### e.g.
$ sudo ceph-volume lvm prepare --filestore --data /dev/sdb4
#### 2. activate osd
$ sudo ceph-volume lvm activate {ID} {FSID}
### e.g
$ sudo ceph-volume lvm activate 4 17e4176b-29c6-4479-bb8c-72e0918d908c

手动模式

登陆到 OSD 节点:

1 2	$ ssh node1 $ sudo bash

生成一个 UUID

1 2	$ uuidgen > osd.uuid.txt $ cat osd.uuid.txt

创建一个 CephX key:

1	$ OSD_SECRET=$(ceph-authtool --get-print-key)

创建 OSD.

1
2
3

ID=$(echo "{\"cephx_secret\": \"$OSD_SECRET\"}" | \
   ceph osd new $UUID -i - \
   -n client.bootstrap-osd -k /var/lib/ceph/bootstrap-osd/ceph.keyring)

1	$ mkdir /var/lib/ceph/osd/ceph-$ID

添加 MDS

创建 MDS 数据文件夹. id 为任意名字, 一般取为 hostname.

1	$ mkdir -p /var/lib/ceph/mds/{cluster-name}-{id}

生成 Keyring.

1	$ ceph-authtool --create-keyring /var/lib/ceph/mds/{cluster-name}-{id}/keyring --gen-key -n mds.{id}

导入 Key 并设置 caps.

1	ceph auth add mds.{id} osd "allow rwx" mds "allow" mon "allow profile mds" -i /var/lib/ceph/mds/{cluster}-{id}/keyring

将设置写入 Ceph 配置文件

1 2	[mds.{id}] host = {id}

手动启动 mds

### usage:
$ ceph-mds --cluster {cluster-name} -i {id} -m {mon-hostname}:{mon-port} [-f]
### e.g.
$ ceph-mds --cluster ceph -i node1 -m {mon-hostname}:{mon-port} -f

或者使用 systemd 或者 sysinitv 启动:

1
2
3

### usage:
sudo systemctl enable --now ceph-mds@id
7. 安装 Ceph FileSystem

总结

在设置了 monitor, manager 和 OSDs 后, 可以查看 Ceph 集群的状态:

1
2
3

$ ceph -s
$ ceph -w
$ ceph osd tree

重命名 Ceph 集群

通过上面的手动创建过程可以看到, Ceph 集群名字更多是一个标志名, 没有进行硬编码. 所以可以对 Ceph 集群进行重命名. 具体过程就是将所有的文件夹和文件重命名, 例如从 ceph 到 remote. 改完后重启整个集群.

在 Linux 中使用 Cron 执行定时任务

2018-09-30T02:08:36.000Z

工作中我们常常需要在某些时候执行一些任务，Windows 下有定时任务管理， Linux 下则有 Crontab，接触过 Linux 的童鞋一定不陌生。

Cron 是 Unix，Solaris， Linux 等系统下的可以自动在后台执行定时任务的工具，比如在某一天 9 点提醒你开会，某一天 6 点去给女票买礼物等等，这是由 cron 守护进程定期执行的。如果启用了 cron（一般默认启用), cron 守护进程 会在系统启动后自动启动，并按时执行任务。 cron 也能手动启用、关闭、重启等。

认识 crontab

Crontab 是 cron 的任务库文件，它存储了 cron 要执行的计划任务项目。不同系统下该文件的位置可能不同。

macOS: /usr/lib/cron/tabs/
BSD Unix: /var/cron/tabs/
Solaris, Debian: /var/spool/cron/crontabs/
RHEL, CentOS, Fedora: /var/spool/cron/

cron 任务是一个包含特定日期，特定时间和要执行的命令的集合, 存储在 crontab 里。一个 crontab 条目如下图所示，指定了在每个月的所有周日凌晨 2 点 36 分执行 /usr/local/sbin/ 下的 backup.sh 脚本。

Crontab

Crontab 命令

crontab 命令很简单，

1	[root@localhost ~]$ crontab [-u username] [-l\|-r\|-e] [-n \|-c] [-s] [-x ]

各选项含义如下：

-u: 指定 crontab 的用户名, 此选项只能 root 使用
-e: 编辑 crontab 文件，如果没有，会新建一个
-l: 打印出 crontab 文件内容，列出计划任务
-r: 移出 crontab 文件
-n : 设定在集群中的 host 主机上执行用户 crontabs
-c: 获取用户在集群上的 crontabs
-s: selinux 相关内容
-x : 开启 debug
执行 crontab -e 后就会进入 crontab 编辑环境。

# # Example of job definition:
.---------------- minute (0 - 59)
|  .------------- hour (0 - 23)
|  |  .---------- day of month (1 - 31)
|  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
|  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
|  |  |  |  |
*  *  *  *  *   command to be executed

时间格式为 min hour day_of_month month day_of_week, 每一项都是一定范围的整数或者数组或者范围。一些辅助的字符有特别的意义。

特殊字符	代表含义
*	代表任何可能的值
,	代表分隔时段， `0 3,6 * * * command` 表示在每天 3:00， 6:00 执行任务
-	代表时间范围， `0 10-20 * * * command` 表示在每天10:00 到 20:00 执行任务
/n	代表 `每隔 n 单位时间` 重复一次

下面举几个 Crontab 的使用例子。

Crontab 例子

备份系统

每天 00:00 准时备份系统

1	0 0 * * * /usr/local/bin/backup.sh

会议提醒

提醒每周五下午 2:30 开会

1	20 14 * * 5 /path/to/alert.sh

记录 IP

每隔 3 小时记录 IP 并发送到指定邮箱

1	0 /3 * * echo "$(date) : $(hostname -I)" \| mutt -s "your ip" your_email_address > /dev/null 2>&1

Crontab 使用补充

系统设定

如果你要做的是系统的例行性任务，则可以使用 /etc/crontab, 在里面加入你的定时任务就好。

[root@localhost ~]$ cat /etc/crontab
SHELL=/bin/bash                     <==使用哪种 shell
PATH=/sbin:/bin:/usr/sbin:/usr/bin  <==执行程序搜索路径
MAILTO=root                         <==若有額外STDOUT，以 email 将输出发送给谁

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

可以按照这个格式添加任务，其中相对于 crontab -e，多了一个 user-name，即运行任务的用户。

系统资源

若定期运行的任务很多，有时候会在某一时候运行很多任务，系统资源会比较紧张，可以将任务分散开，使得系统负载相对平稳。

[root@localhost ~]$ cat /etc/crontab
0,5,10,15,20,25,30,35,40,45,50,55 * * * * root  scripts_1.sh
1,6,11,16,21,26,31,36,41,46,51,56 * * * * root  scripts_2.sh
2,7,12,17,22,27,32,37,42,47,52,57 * * * * root  scripts_3.sh
3,8,13,18,23,28,33,38,43,48,53,58 * * * * root  scripts_4.sh
4,9,14,19,24,29,34,39,44,49,54,59 * * * * root  scripts_5.sh

使用限制

如果你的用户名在 /etc/cron.allow 中，那是可以使用 crontab 的，但如果是在
/etc/cron.deny 中，则无法使用并安排定时任务的。 /etc/cron.allow 的优先级高于 /etc/cron.deny。

关闭邮件通知

cron 任务默认会在执行一个 cronjob 后发送一封邮件的，如果执行任务勤了，会产生大量的邮件。如果输出不是必要的，则可以通过在任务结尾加上重定向：

1	>/dev/null 2>&1

或者重定向到一个日志文件：

1	> /path/to/your/log/file 2>&1

环境变量

cron 会在用户 HOME 文件夹下执行命令，默认的环境变量有：

HOME=user-home-directory
LOGNAME=user-login-id
PATH=/usr/bin:/usr/sbin
SHELL=/usr/bin/sh
要是你想要任务开始时执行 ~/.profile 里的命令，需要显示地在脚本里执行 source ~/.profile

安全检测

有可能服务器会被人入侵，植入的木马一般都会以定时任务的形式运行，可以检查 /var/spool/cron/ 有没有问题。

周与日

day_of_month 与 day_of _week 一般不能同时设定，若同时设定了，系统会在所有符合一个或两个的日期都执行命令。

执行关机期间的任务

如果关机有任务没有执行，开机后 cron 也不会执行过期的任务。想要执行过期任务，可以使用 anacron。它作为定时会每小时被执行一次，执行 cron 没有执行的任务。

使用 Ceph 作为 QEMU KVM 虚拟机的存储

2018-09-26T07:23:15.000Z

Ceph RBD 块设备存储是十分适合作为虚拟化平台的存储后端的, 这也是其最常用的情景之一. 这篇主要介绍如何将 Ceph RBD 作为 QEMU 等的存储端.

RBD 具有快照的特性, 我们又可以对 RBD 快照进行克隆, 创建一系列的写时复制克隆复本. RBD 的这一特性可以让 Ceph 能够很快地给虚拟机提供块设备, 因为客户端不需要每次在新建虚拟机时都下载整个镜像.

libvirt 为 OpenStack, CloudStack 等云计算平台提供 Ceph 块设备服务, 云计算平台使用 libvirt 与 QEMU/KVM 等交互, QEMU/KVM 等使用 librbd 与 Ceph RBD 块设备交互.

Ceph RBD 可以作为 VMs 的数据盘和系统盘来使用. 下面我们就来看看如何实现这一目标.

配置 Ceph

要配置 Ceph 来配合 libvirt, 可依照如下步骤.

创建一个 Pool. 专门为 libvirt 创建一个 Pool, 并初始化.

1
2
3

[ceph@ceph0 ~]$ ceph osd pool create libvirt-pool 128 128
[ceph@ceph0 ~]$ ceph osd lspools
[ceph@ceph0 ~]$ rbd pool init libvirt-pool

创建与 Ceph 交互的 User. 这里使用 client.libvirt 作为用户名, libvirt 会使用 libvirt 而不是 client.libvirt 与 Ceph 交互.

1 2	[ceph@ceph0 ~]$ ceph auth get-or-create client.libvirt mon 'profile rbd' osd 'profile rbd pool=libvirt-pool' [ceph@ceph0 ~]$ ceph auth ls

使用 QEMU 新建 images. 比如新建一个 linux-image, 一个 windows-image.

1
2
3

[ceph@ceph0 ~]$ qemu-img create -f rbd rbd:libvirt-pool/linux-image 60G
[ceph@ceph0 ~]$ qemu-img create -f rbd rbd:libvirt-pool/windows-image 80G
[ceph@ceph0 ~]$ rbd -p libvirt-pool ls

添加如下部分到 /etc/ceph/ceph.conf 中,以便调试错误. (可选)

1
2
3

[client.libvirt]
log file = /var/log/ceph/qemu-guest-$pid.log
admin socket = /var/run/ceph/$cluster-$type.$id.$pid.$cctid.asok

配置 VM Managers

libvirt 可以直接创建 VMs, 但是使用 virt-manager 可能麦加方便一些.

安装 VM manager.

1	[ceph@ceph0 ~]$ sudo yum install -y virt-manager

准备好 OS images. 这里我们用 CentOS 7.5 和 Windows 7 64 bit 两个系统.
启动 VMs manager.

1	[ceph@ceph0 ~]$ virt-manager

接下来我们就开始安装 VMs 了.

创建 VMs

创建 Linux VMs

点击 Create New Virtual Machine 按钮.
命名虚拟机的域. 例如 centos.
导入 OS image.
配置启动 VM
要使用 Ceph RBD 作为系统盘, 先不要安装系统,
要使用 Ceph RBD 作为数据盘, 可以先安装系统.VM.

接下我们先关掉 VM.

配置 Linux VMS

打开 VM 配置文件.

1	sudo virsh edit centos

在下应该有一个项.

<devices>
    <emulator>/usr/bin/kvmemulator>
    <disk type='file' device='disk'>
        <driver name='qemu' type='raw'/>
        <source file='/path/to/image/recent-linux.img'/>
        <target dev='vda' bus='virtio'/>
        <address type='drive' controller='0' bus='0' unit='0'/>
    disk>
devices>

如果使用 RBD 作为数据盘, 在其下面加上下面项. 如果用作系统盘, 去掉上面的一项, 再加上下面一项.

<disk type='network' device='disk'>
    <source protocol='rbd' name='libvirt-pool/new-libvirt-image'>
        <host name='{monitor-host}' port='6789'/>
    source>
    <target dev='vda' bus='virtio'/>
disk>

将其中的 {monitor-host} 替换成真实的 hosts. 保存并退出.
3. 配置 Ceph Authentication. 一般 Ceph 集群都设置了登录认证. 我们需要生成一个 secret.

cat > secret.xml <<EOF

        
                client.libvirt secret
        

EOF

定义 secret.

1	[ceph@ceph0 ~]$ sudo virsh secret-define --file secret.xml > uuid.txt

获取 client.libvirt key, 并保存到 client.libvirt.key.

1	[ceph@ceph0 ~]$ ceph auth get-key client.libvirt \| sudo tee client.libvirt.key

设置 secret 的 UUID.

1	[ceph@ceph0 ~]$ sudo virsh secret-value --secret $(cat uuid.txt) --base64 $(cat client.libvirt.key)

在虚拟机配置里加上认证信息. 在下面加上如下项.

1
2
3

<auth username='libvirt'>
     <secret type='ceph' uuid='9ec59067-fdbc-a6c0-03ff-df165c0587b8'/>
auth>

开机启动 VM, 就可以使用 rbd 来当作系统盘或数据盘了.

配置 Windows VMs

Windows VM 与 Linux VM 下同的一点是它没有自带 virtio 的驱动, 所以在安装系统时, Windows 并不能识别 rbd 设备. 需要下载 virtio-win.
将下载的镜像挂载到 VM 上, 在选择安装到硬盘界面时, 选择加载驱动, 选择 virtio-win 镜像下的 /viostor/w7/amd64/ 文件夹. 加载之后, 就可以识别了. 然后就可以将 Window 安装到 Ceph 的 RBD 上了.

要是将 RBD 当作数据盘, 可以在安装好系统后, 在 Window 下安装驱动, 这更方便.

挂载到现有 VMs

可以动态将 Volume 挂载到 VMs 上:

$ cat << EOF > device.xml










EOF
$ virsh attach-device centos device.xml --persistent

查看 QEMU 与 CEPH 交互

1	$ sudo virsh qemu-monitor-command --hmp {vm-domain-name} 'info block'

配置 QEMU/KVM

要使 libvirt 能够操作 Ceph RBD, 需要安装 qemu-block-rbd:

1	[ceph@ceph0 ~]$ sudo yum install -y qemu-block-rbd

这里简单介绍一个与 rbd 相关的 qemu-img 的用法.

基本用法

1	[ceph@ceph0 ~]$ qemu-img {command} [options] rbd:{pool-name}/{image-name}[@snapshot-name]:[:option1=value1][:option2=value2...]

例如, 指定 user id 和 conf 文件

1	$ qemu-img {command} [options] rbd:libvirt-pool/linux:id=libvirt:conf=/etc/ceph/ceph.conf

创建 images

我们可以用 qemu-img 来创建 image, 如下所示. rbd 是必须指定的, pool name 和 image name 也是必须的. 格式 -f raw 是最合理的格式. 其他格式也可以,但可能会引起不必要的又比较麻烦的问题.

### Usage
$ qemu-img create -f raw rbd:{pool-name}/{image-name} {size}
### e.g.
$ qemu-img create -f raw rbd:libvirt-pool/new-image 20G

调整 images 大小

### Usage
$ qemu-img resize rbd:{pool-name}/{image-name} {size}
### e.g.
$ qemu-img resize rbd:libvirt-pool/new-image 50G
$ qemu-img resize rbd:libvirt-pool/new-image +20G

获取 image 信息

### Usage
$ qemu-img info rbd:{pool-name}/{image-name}
### e.g.
$ qemu-img info rbd:libvirt-pool/new-image

运行 VMs

QEMU 可以通过 librbd 直接将 rbd 作为虚拟块设备使用. qemu-img 可以将已经存在的虚拟机镜像转换到 Ceph RBD images. 如

1	$ qemu-img convert -f qcow2 -O raw centos.qcow2 rbd:libvirt-pool/centos

要从转换后的 image 启动一个虚拟机, 运行如下命令:

1	$ qemu -m 1024 -drive format=raw,file=rbd:data/centos,cache=writeback

上面的 cache=writeback 是启用 RBD的 caching 功能, 可大大提高 VMs 性能…

调用 Discard/Trim

1	$ qemu -m 1024 -drive format=raw,file=rbd:libvirt-pool/centos,id=libvirt,if=none -device driver=ide-hd,drive=drive1,discard_granularity=512

QEMU Cache 选项

writeback:

1	rbd_cache = true

writethrough:

1 2	rbd_cache = true rbd_cache_max_dirty = 0

None:

1	rbd_cache = false

QEMU 的 cache 设置会覆掉 Ceph 的设置.

解决 SSH 连接提示 Too Many Authentication Failures 问题

2018-09-26T02:55:38.000Z

最近在使用 ssh 连接远程服务器时, 出现了 “Too many authentication failures for xxxx” 的问题, 然而之前是可以正常登录的. 貌似服务器也没有做什么更改. 那是什么原因呢?

问题

在登录远程服务器时, 会出现如下提示:

1
2
3

Keyboard-interactive authentication is disabled to avoid man-in-the-middle attacks.
Received disconnect from 172.16.22.11 port 22:2: Too many authentication failures for xxx
Disconnected from 172.16.22.11 port 22

显示指定所用的公钥后, 仍旧不行. 在加上 -vvv 输出 debug 信息后, 发现 ssh 在登录时, 尝试了 ~/.ssh 下的所有密钥, 很不幸的是, 服务器用的密钥很靠后, 还没有尝试到该密钥就已经超出限制了.

ssh th2 -vvv
OpenSSH_7.8p1, OpenSSL 1.1.0i-fips  14 Aug 2018
debug1: Reading configuration data /home/user/.ssh/config
debug1: /home/user/.ssh/config line 4: Applying options for *
debug1: /home/user/.ssh/config line 7: Deprecated option "cipher"
debug1: /home/user/.ssh/config line 111: Applying options for th2
debug1: Reading configuration data /etc/ssh/ssh_config
...
SHA256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.
Please contact your system administrator.
Add correct host key in /home/user/.ssh/known_hosts to get rid of this message.
Offending ECDSA key in /home/user/.ssh/known_hosts:121
Password authentication is disabled to avoid man-in-the-middle attacks.
Keyboard-interactive authentication is disabled to avoid man-in-the-middle attacks.
...
debug2: key: /home/user/.ssh/ceph_rsa (0x55d8ec4dd860), agent
debug2: key: /home/user/.ssh/amito_rsa (0x55d8ec4d8c30), agent
debug2: key: aaaa (0xxxxxxxxxxxxx), agent
debug2: key: bbbb (0xxxxxxxxxxxxx), agent
debug2: key: cccc (0xxxxxxxxxxxxx), agent
debug2: key: dddd (0xxxxxxxxxxxxx), agent
debug2: key: /home/user/.ssh/xxxx ((nil)), explicit
...
debug2: we did not send a packet, disable method
debug3: authmethod_lookup publickey
debug3: remaining preferred: 
debug3: authmethod_is_enabled publickey
debug1: Next authentication method: publickey
debug1: Offering public key: RSA SHA256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx /home/user/.ssh/eeee_rsa
debug3: send packet: type 50
debug2: we sent a publickey packet, wait for reply
debug3: receive packet: type 51
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic
debug1: Offering public key: RSA SHA256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx /home/user/.ssh/aaaa_rsa
debug3: send packet: type 50
debug2: we sent a publickey packet, wait for reply
debug3: receive packet: type 51
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic
debug1: Offering public key: RSA SHA256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx bbbb
debug3: send packet: type 50
debug2: we sent a publickey packet, wait for reply
debug3: receive packet: type 51
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic
debug1: Offering public key: RSA SHA256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx cccc
debug3: send packet: type 50
debug2: we sent a publickey packet, wait for reply
debug3: receive packet: type 51
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic
debug1: Offering public key: RSA SHA256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx eeee
debug3: send packet: type 50
debug2: we sent a publickey packet, wait for reply
debug3: receive packet: type 51
debug1: Authentications that can continue: publickey,gssapi-keyex,gssapi-with-mic
debug1: Offering public key: RSA SHA256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx ffff
debug3: send packet: type 50
debug2: we sent a publickey packet, wait for reply
debug3: receive packet: type 1
Received disconnect from 172.16.22.11 port 22:2: Too many authentication failures
Disconnected from 172.16.22.11 port 22

原来 SSH 在登录时, 会依次尝试密钥, 直到找到一个能成功的. 然而 SSH 服务端会设置几次登录失败后就将其禁掉. 找到了原因, 解决方法也简单…

方法

一个简单的方法是将多的密钥移除, 但是密钥自有其存在的意义, 使用同一个密钥登录所有服务器也不现实. 另一个方法就是在 ~/.ssh/config 中指定使用的密钥, 并且加上 IdentitiesOnly=yes.

Host myhost
Hostname my_host_ip
User user
Port port
Identitiesonly=yes
Identityfile ~/.ssh/id_rsa

为简便, 可以对所有 host 都进行设置.

Host *
Serveraliveinterval 60
StrictHostKeyChecking no
Identitiesonly=yes