關于Pytorch中怎么自定義Dataset數據集類、怎樣使用DataLoader迭代加載數據，這篇官方文檔已經說得很清楚了，這里就不在贅述。

創新互聯科技有限公司專業互聯網基礎服務商，為您提供德陽機房服務器托管，高防服務器租用，成都IDC機房托管，成都主機托管等互聯網服務。

現在的問題：有的時候，特別對于NLP任務來說，輸入的數據可能不是定長的，比如多個句子的長度一般不會一致，這時候使用DataLoader加載數據時，不定長的句子會被胡亂切分，這肯定是不行的。

解決方法是重寫DataLoader的collate_fn，具體方法如下：

# 假如每一個樣本為：
sample = {
	# 一個句子中各個詞的id
	'token_list' : [5, 2, 4, 1, 9, 8],
	# 結果y
	'label' : 5,
}


# 重寫collate_fn函數，其輸入為一個batch的sample數據
def collate_fn(batch):
	# 因為token_list是一個變長的數據，所以需要用一個list來裝這個batch的token_list
  token_lists = [item['token_list'] for item in batch]
  
  # 每個label是一個int，我們把這個batch中的label也全取出來，重新組裝
  labels = [item['label'] for item in batch]
  # 把labels轉換成Tensor
  labels = torch.Tensor(labels)
  return {
    'token_list': token_lists,
    'label': labels,
  }


# 在使用DataLoader加載數據時，注意collate_fn參數傳入的是重寫的函數
DataLoader(trainset, batch_size=4, shuffle=True, num_workers=4, collate_fn=collate_fn)

網頁標題：PytorchDataLoader變長數據處理方式-創新互聯
當前鏈接：http://vcdvsql.cn/article12/ggogc.html

成都網站建設公司_創新互聯，為您提供標簽優化、小程序開發、軟件開發、微信小程序、服務器托管、移動網站建設

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯