這篇文章主要為大家展示了keras如何用多gpu并行運行，內容簡而易懂，希望大家可以學習一下，學習完之后肯定會有收獲的，下面讓小編帶大家一起來看看吧。

為企業提供成都做網站、網站設計、網站優化、營銷型網站建設、競價托管、品牌運營等營銷獲客服務。創新互聯擁有網絡營銷運營團隊，以豐富的互聯網營銷經驗助力企業精準獲客，真正落地解決中小企業營銷獲客難題，做到“讓獲客更簡單”。自創立至今，成功用技術實力解決了企業“網站建設、網絡品牌塑造、網絡營銷”三大難題，同時降低了營銷成本，提高了有效客戶轉化率，獲得了眾多企業客戶的高度認可！

一、多張gpu的卡上使用keras

有多張gpu卡時，推薦使用tensorflow 作為后端。使用多張gpu運行model，可以分為兩種情況，一是數據并行，二是設備并行。

二、數據并行

數據并行將目標模型在多個設備上各復制一份，并使用每個設備上的復制品處理整個數據集的不同部分數據。

利用multi_gpu_model實現

keras.utils.multi_gpu_model(model, gpus=None, cpu_merge=True, cpu_relocation=False)

具體來說，該功能實現了單機多 GPU 數據并行性。 它的工作原理如下：

將模型的輸入分成多個子批次。

在每個子批次上應用模型副本。 每個模型副本都在專用 GPU 上執行。

將結果（在 CPU 上）連接成一個大批量。

例如， 如果你的 batch_size 是 64，且你使用 gpus=2， 那么我們將把輸入分為兩個 32 個樣本的子批次， 在 1 個 GPU 上處理 1 個子批次，然后返回完整批次的 64 個處理過的樣本。

參數

model: 一個 Keras 模型實例。為了避免OOM錯誤，該模型可以建立在 CPU 上， 詳見下面的使用樣例。

gpus: 整數 >= 2 或整數列表，創建模型副本的 GPU 數量， 或 GPU ID 的列表。

cpu_merge: 一個布爾值，用于標識是否強制合并 CPU 范圍內的模型權重。

cpu_relocation: 一個布爾值，用來確定是否在 CPU 的范圍內創建模型的權重。如果模型沒有在任何一個設備范圍內定義，您仍然可以通過激活這個選項來拯救它。

返回

一個 Keras Model 實例，它可以像初始 model 參數一樣使用，但它將工作負載分布在多個 GPU 上。

例子

import tensorflow as tf
from keras.applications import Xception
from keras.utils import multi_gpu_model
import numpy as np

num_samples = 1000
height = 224
width = 224
num_classes = 1000

# 實例化基礎模型（或者「模版」模型）。
# 我們推薦在 CPU 設備范圍內做此操作，
# 這樣模型的權重就會存儲在 CPU 內存中。
# 否則它們會存儲在 GPU 上，而完全被共享。
with tf.device('/cpu:0'):
 model = Xception(weights=None,
   input_shape=(height, width, 3),
   classes=num_classes)

# 復制模型到 8 個 GPU 上。
# 這假設你的機器有 8 個可用 GPU。
parallel_model = multi_gpu_model(model, gpus=8)
parallel_model.compile(loss='categorical_crossentropy',
   optimizer='rmsprop')

# 生成虛擬數據
x = np.random.random((num_samples, height, width, 3))
y = np.random.random((num_samples, num_classes))

# 這個 `fit` 調用將分布在 8 個 GPU 上。
# 由于 batch size 是 256, 每個 GPU 將處理 32 個樣本。
parallel_model.fit(x, y, epochs=20, batch_size=256)

# 通過模版模型存儲模型（共享相同權重）：
model.save('my_model.h6')

另外有需要云服務器可以了解下創新互聯scvps.cn，海內外云服務器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案，具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢，專為企業上云打造定制，能夠滿足用戶豐富、多元化的應用場景需求。

分享名稱：keras如何用多gpu并行運行-創新互聯
分享地址：http://vcdvsql.cn/article16/iipdg.html

成都網站建設公司_創新互聯，為您提供網站排名、建站公司、外貿建站、品牌網站制作、網站改版、營銷型網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯