proxmox+ceph集群安裝筆記

創(chuàng)新互聯(lián)專注于鎮(zhèn)賚企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站,商城網(wǎng)站制作。鎮(zhèn)賚網(wǎng)站建設(shè)公司,為鎮(zhèn)賚等地區(qū)提供建站服務(wù)。全流程按需規(guī)劃網(wǎng)站，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

1、創(chuàng)建3臺vmware虛擬機
cpu：2x2 4核 開虛擬化
內(nèi)存：2G
硬盤1：20G，系統(tǒng)盤
硬盤2：200G，ceph存儲盤
網(wǎng)絡(luò)：橋接模式
IP：10.8.20.11/12/13
主機名：pve1.abc.com/pve2.abc.com/pve3.abc.com

2、在pve1虛擬機上安裝proxmox，安裝在20g的硬盤上，默認安裝即可

3、系統(tǒng)配置

1)更改為國內(nèi)源
安裝vim
apt update
apt install vim -y

安裝阿里云的源
cd /etc/apt
vi sources.list.d/pve-enterprise.list
修改為
deb http://download.proxmox.wiki/debian/pve buster pve-no-subscription

vi sources.list
修改為：
deb http://mirrors.aliyun.com/debian buster main contrib
deb http://mirrors.aliyun.com/debian buster-updates main contrib
#安全更新
deb http://mirrors.aliyun.com/debian-security/ buster/updates main contrib

更新系統(tǒng)
apt update
apt upgrade -y
init 6

2)去除web管理平臺的訂閱提示
sed -i "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js

最后再執(zhí)行：systemctl restart pveproxy

3)不使用lvm-thin，將local也就是根分區(qū)擴展
pve默認安裝時，會建立local和local-lvm 大小分別為4.61G（根分區(qū)的lvm，存放iso）和8G（存放虛擬機）
下面要把8g的刪除，合并到4.61g

就是要把邏輯卷data刪除，邏輯卷root擴展

修改pve的存儲配置
vi /etc/pve/storage.cfg
修改成：
dir: local
path /var/lib/vz
content rootdir,iso,vztmpl,backup

(刪除lvm-thin段)

刪除data所在的lv
lvremove /dev/pve/data（pve是卷組名 data是邏輯卷名）

查看卷組信息
vgs
VG #PV #LV #SN Attr VSize VFree
pve 1 2 0 wz--n- <19.50g 12.37g
還剩下12.37g

擴展root邏輯卷
lvextend -L +12.37G /dev/pve/root
resize2fs /dev/pve/root

到web管理頁面上查看可以看到只剩下一個local，大小為16.79g。

4)登錄web管理頁面修改主機名與ip地址的對應(yīng)（這步可以不做）
pve1->系統(tǒng)->主機，添加以下2行
10.8.20.12 pve2.abc.com pve2
10.8.20.13 pve3.abc.com pve3

以上就安裝配置好了pve1的主機。

在pve2和pve3上重復以上操作即可。

4、建立pve集群
pve1上執(zhí)行：
pvecm create pve-cluster（pve-cluster是集群名）

pve2、pve3執(zhí)行：
pvecm add 10.8.20.11

在pve1上查看集群狀態(tài)
pvecm status
pvecm nodes

5、建立ceph存儲集群（存放虛擬機鏡像，另外iso的存儲使用nfs）

1)安裝ceph(所有節(jié)點上面均執(zhí)行)
pveceph install （后面不加版本號是安裝最新的nautilus版）
出現(xiàn)以下字樣表示安裝成功
installed ceph nautilus successfully

2)建立ceph集群網(wǎng)絡(luò)，為了簡便，這里和管理網(wǎng)絡(luò)共用(所有節(jié)點上面均執(zhí)行)
pveceph init -network 10.8.20.0/24

3)創(chuàng)建ceph集群存儲Mon監(jiān)控(所有節(jié)點上面均執(zhí)行)
pveceph createmon

4)創(chuàng)建ceph集群存儲OSD服務(wù)(所有節(jié)點上面均執(zhí)行)
pveceph createosd /dev/sdb

5)創(chuàng)建集群存儲資源池
ceph osd pool create pve-pool 128 128(只在pve1上面執(zhí)行，pve-pool?是存儲池名)，
128(pg_num)的由來：
少于 5 個 OSD 時可把?pg_num?設(shè)置為 128
OSD 數(shù)量在 5 到 10 個時，可把?pg_num?設(shè)置為 512
OSD 數(shù)量在 10 到 50 個時，可把?pg_num?設(shè)置為 4096

6)登錄pve1的web管理頁面，添加RBD集群存儲
數(shù)據(jù)中心->存儲->添加->選擇RBD
ID：填寫為pve-ceph
資源池：pve-pool
Monitor：10.8.20.11 10.8.20.12?10.8.20.13 （注意添加多個Mon以空格隔開）
添加節(jié)點：pve1，pve2，pve3

添加好后，查看rbd集群存儲配置信息
cat /etc/pve/storage.cfg
dir: local
path /var/lib/vz
content vztmpl,images,backup,iso,rootdir

rbd: pve-ceph
content rootdir,images
krbd 1
nodes pve3,pve2,pve1
pool pve-pool

7)檢查相關(guān)密鑰是否存在
cd /etc/pve/priv
看有沒有ceph目錄，沒有的話就創(chuàng)建，并復制密鑰進來
mkdir ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph.keyring
一般來說是存在的：
root@pve1:/etc/pve/priv# cd ceph
root@pve1:/etc/pve/priv/ceph# ls
pvecluster-ceph.keyring

8)賦予應(yīng)用相關(guān)權(quán)限
ceph osd pool application enable pve-pool rgw?rbd

9)安裝ceph Dashboard
pve1上執(zhí)行
apt install ceph-mgr-dashboard
ceph mgr module enable dashboard
ceph dashboard create-self-signed-cert
ceph dashboard ac-user-create?admin?admin123 administrator（admin是用戶名，admin123是密碼，administrator是指定該用戶是管理員）
systemctl restart ceph-mgr@pve1.service
訪問https://10.8.20.11:8443，使用用戶名admin密碼admin123登錄即可

至此，ceph安裝完成

6、安裝nfs服務(wù)器，提供iso存儲
安裝一臺centos服務(wù)器，啟用nfs服務(wù)
假設(shè)nfs的輸出目錄是這臺centos上的/data/nfs目錄
yum install rpcbind nfs-utils -y
vi /etc/exports
加入：
/data/nfs 10.8.20.0/24(rw,sync,no_root_squash)

啟動nfs服務(wù)

systemctl?enable?rpcbind nfs-server

systemctl start rpcbind nfs-server（centos7）

查看共享目錄
exportfs
激活配置
exportfs -rav

最后在pve集群上添加nfs存儲

pve1web管理頁面：數(shù)據(jù)中心->存儲->添加->選擇nfs

添加好后可以上傳iso文件，會存放在centos服務(wù)器的/data/nfs/template/iso目錄下

7、安裝虛擬機測試集群，虛擬機硬盤選擇存放在pve-ceph存儲下才可以使用遷移和HA功能

我的技術(shù)博客：秋天的回憶

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

本文名稱：proxmox+ceph集群安裝筆記-創(chuàng)新互聯(lián)
網(wǎng)頁鏈接：http://vcdvsql.cn/article34/jiose.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、電子商務(wù)、網(wǎng)站策劃、自適應(yīng)網(wǎng)站、網(wǎng)站制作、云服務(wù)器

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)