注意:演示用的2節點es,有些參數配置不太合理,生產環境還需要更嚴格的參數設定(例如必須開啟密碼驗證)。
創新互聯服務項目包括樂昌網站建設、樂昌網站制作、樂昌網頁制作以及樂昌網絡營銷策劃等。多年來,我們專注于互聯網行業,利用自身積累的技術優勢、行業經驗、深度合作伙伴關系等,向廣大中小型企業、政府機構等提供互聯網行業的解決方案,樂昌網站推廣取得了明顯的社會效益與經濟效益。目前,我們服務的客戶以成都為中心已經輻射到樂昌省份的部分城市,未來相信會繼續擴大服務區域并繼續獲得客戶的支持與信任!系統版本:CentOS7
節點規劃:
熱數據節點:? 192.168.2.4
溫數據節點:? 192.168.2.190
PS:這里就沒分 hot warm cold 這種三級存儲,我們一般使用 hot warm 2種即可。
我們這里使用 tar.gz 通用二進制文件
useradd es
# cat /etc/security/limits.d/elasticsearch.conf?
es?-?nofile?65535 es?-?noproc?65535 es?-?memlock?unlimitedcd /usr/local/elasticsearch-7.4.2/
mkdir data logs?
chown es.es? /usr/local/elasticsearch-7.4.2/ -R
su - es
cd /usr/local/elasticsearch-7.4.2/
熱數據節點:? 192.168.2.4 的配置如下:
cat config/elasticsearch.yml?
cluster.name:?my-application node.name:?node-1 node.attr.rack:?r1 node.attr.temperature:?hot path.data:?./data/ path.logs:?./logs node.master:?true node.data:?true node.ingest:?true bootstrap.memory_lock:?true network.host:?0.0.0.0 http.port:?9200 cluster.initial_master_nodes:? ??-?192.168.2.4:9300 ??-?192.168.2.190:9300 ?? discovery.seed_hosts: ??-?192.168.2.4 ??-?192.168.2.190 ?? gateway.recover_after_nodes:?1 #action.destructive_requires_name:?true #############?xpack?的配置項?#################### #xpack.security.enabled:?true #xpack.security.transport.ssl.enabled:?true xpack.security.audit.enabled:?true xpack.security.audit.logfile.events.include:?access_denied,?access_granted,?anonymous_access_denied,?authentication_failed,connection_denied,?tampered_request,?run_as_denied,?run_as_granted xpack.security.audit.logfile.emit_node_host_address:?true xpack.security.audit.logfile.emit_node_host_name:?true xpack.sql.enabled:?true xpack.ilm.enabled:?true溫數據節點:? 192.168.2.190
cat config/elasticsearch.yml?
cluster.name:?my-application node.name:?es11 node.attr.rack:?r1 node.attr.temperature:?warm path.data:?./data/ path.logs:?./logs node.master:?true node.data:?true node.ingest:?true bootstrap.memory_lock:?true network.host:?0.0.0.0 http.port:?9200 cluster.initial_master_nodes:? ??-?192.168.2.4:9300 ??-?192.168.2.190:9300 ?? discovery.seed_hosts: ??-?192.168.2.4 ??-?192.168.2.190 gateway.recover_after_nodes:?1 #action.destructive_requires_name:?true #############?xpack?的配置項?#################### #xpack.security.enabled:?true #xpack.security.transport.ssl.enabled:?true xpack.security.audit.enabled:?true xpack.security.audit.logfile.events.include:?access_denied,?access_granted,?anonymous_access_denied,?authentication_failed,connection_denied,?tampered_request,?run_as_denied,?run_as_granted xpack.security.audit.logfile.emit_node_host_address:?true xpack.security.audit.logfile.emit_node_host_name:?true xpack.sql.enabled:?true xpack.ilm.enabled:?true啟動腳本:?
# cat start.sh?
#?es?依賴高版本的jdk?需要先export下 export?JAVA_HOME=./jdk/ nohup?./bin/elasticsearch?>/dev/null?2>&1?&停止腳本:
# cat stop.sh?
kill?$(jps|?grep?Elasticsearch?|?awk?'{print?$1}')創建索引,并將數據搬遷到hot節點:
curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19?pretty curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19/_settings?-d?' { ??"index.routing.allocation.require.temperature":?"hot" }'如果要將 index-2019.10.19 的數據搬遷到溫節點,我們使用下面的這個命令就行
curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19/_settings?-d?' { ??"index.routing.allocation.require.temperature":?"warm" }'流程跑通后,我們可以寫個腳本,作用有2個:
1、提前創建后一天的索引,并確保將其落到hot節點
2、將7天前的索引,打標簽,存放到es的warm節點(大容量HDD磁盤):
#!/bin/bash #?創建新的索引,語句類似下面5行,需要根據自己情況修改(建議使用for循環創建index) #?curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19?pretty #?curl?-H?'Content-Type:?application/json'?-X?PUT?http://localhost:9200/index-2019.10.19/_settings?-d?' #?{ #???"index.routing.allocation.require.temperature":?"hot" #?}' day=$(date?+"%Y.%m.%d"?-d?-7day) curl?-H?'Content-Type:?application/json'??-X?PUT?http://192.168.2.4:9200/*-${day}/_settings?-d?' { ??"index.routing.allocation.require.temperature":?"warm" }'另外, 在es7里面 提供?index-lifecycle-management 這個功能, 我們在kibana 界面里面就可以進行配置。 具體可以查閱es官方的文檔(個人還是比較喜歡用上面的這種腳本的方案)。
另外有需要云服務器可以了解下創新互聯cdcxhl.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
網頁題目:es數據的冷熱分離實驗-創新互聯
新聞來源:http://vcdvsql.cn/article22/ceshjc.html
成都網站建設公司_創新互聯,為您提供域名注冊、做網站、ChatGPT、商城網站、營銷型網站建設、網站內鏈
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯