這篇文章主要為大家展示了“如何解決TensorFlow訓練內存不斷增長,進程被殺死的問題”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓小編帶領大家一起研究并學習一下“如何解決TensorFlow訓練內存不斷增長,進程被殺死的問題”這篇文章吧。
成都創新互聯堅持“要么做到,要么別承諾”的工作理念,服務領域包括:成都網站制作、成都做網站、企業官網、英文網站、手機端網站、網站推廣等服務,滿足客戶于互聯網時代的輝南網站設計、移動媒體設計的需求,幫助企業找到有效的互聯網解決方案。努力成為您成熟可靠的網絡建設合作伙伴!TensorFlow訓練時,遇到內存不斷增長,最終導致內存不足,進程被殺死。
在這里我不準備對造成這一現象的所有原因進行探討,只是記錄一下我在項目中遇到的這一問題,下面將對我遇到的內存不斷增長的原因進行分析。
在TensorFlow中構造圖,是將一些op作為節點加入圖中,在run之前,是需要構造好一個圖的,所以在run的時候,如果run圖中不存在的節點,TensorFlow就會將節點加入圖中,隨著不斷的迭代,造成內存不斷的增長,從而導致內存不足。
下面舉一個很容易發現這個問題的例子:
import tensorflow as tf x = tf.Variable(tf.constant(1)) y = tf.constant(2) sess = tf.Session() sess.run(tf.global_variables_initializer()) while True: print(sess.run(x+y))
在上面的例子中,x,y是圖中的兩個節點,在while循環中run(x)或者run(y)都是不存在問題的,但是上例中我們使用的時run(x+y),而在TensorFlow的圖中是不存在x+y這個節點的,所以在run的時候,圖中會不斷的創建該節點,最終導致了內存不足。這個例子很容易理解,這樣的問題也很容易發現。
下面,將舉一個不是那么容易發現的問題:
import tensorflow as tf test = tf.get_variable('test', shape=[4, 1], initializer=tf.random_normal_initializer(stddev=0.1)) init_op = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init_op) print(sess.run(test[0]))
這個例子是創建一個shape為[4,1]的變量對象,test為圖中的一個節點,但是在我們實際使用時,我們可能并不需要test里的所有數據,加入只需要一個數據test[0],當我們使用run(test[0])時,test[0]并不是圖中的節點,該節點就會在圖中創建。上面的例子并沒有使用循環,所以增加了節點,但是也不會造成內存的不足,當使用了循環時,就需要注意了。
解決辦法:run圖中存在的節點,對返回的結果進行處理,得到想要的結果,不要在run里面對節點處理(處理后的節點可能不是圖中的節點)。
以上是“如何解決TensorFlow訓練內存不斷增長,進程被殺死的問題”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注創新互聯成都網站設計公司行業資訊頻道!
另外有需要云服務器可以了解下創新互聯scvps.cn,海內外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業上云的綜合解決方案,具有“安全穩定、簡單易用、服務可用性高、性價比高”等特點與優勢,專為企業上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
文章標題:如何解決TensorFlow訓練內存不斷增長,進程被殺死的問題-創新互聯
網頁網址:http://vcdvsql.cn/article16/ddphdg.html
成都網站建設公司_創新互聯,為您提供網站制作、網站營銷、移動網站建設、企業建站、域名注冊、建站公司
聲明:本網站發布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網站立場,如需處理請聯系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經允許不得轉載,或轉載時需注明來源: 創新互聯