這篇文章主要介紹“spark集群如何使用hanlp進行分布式分詞”，在日常操作中，相信很多人在spark集群如何使用hanlp進行分布式分詞問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”spark集群如何使用hanlp進行分布式分詞”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

創新互聯建站專業為企業提供樂亭網站建設、樂亭做網站、樂亭網站設計、樂亭網站制作等企業網站建設、網頁設計與制作、樂亭企業網站模板建站服務，十多年樂亭做網站經驗，不只是建網站，更提供有價值的思路和整體網絡服務。

 

分兩步：

第一步：實現hankcs.hanlp/corpus.io.IIOAdapter

1.  public class HadoopFileIoAdapter implements IIOAdapter {

2. 

3.   @Override

4.    public InputStream open(String path) throws IOException {

5.        Configuration conf = new Configuration();

6.       FileSystem fs = FileSystem.get(URI.create(path), conf);

7.        return fs.open(new Path(path));

8.    }

9. 

10.    @Override

11.   public OutputStream create(String path) throws IOException {

12.        Configuration conf = new Configuration();

13.        FileSystem fs = FileSystem.get(URI.create(path), conf);

14.        OutputStream out = fs.create(new Path(path));

15.        return out;

16.    }

17.  }

第二步：修改配置文件。root為hdfs上的數據包，把IOAdapter改為咱們上面實現的類

 

ok，這樣你就能在分布式集群上使用hanlp進行分詞了。

到此，關于“spark集群如何使用hanlp進行分布式分詞”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注創新互聯網站，小編會繼續努力為大家帶來更多實用的文章！

文章題目：spark集群如何使用hanlp進行分布式分詞
轉載來源：http://vcdvsql.cn/article38/jhgosp.html

成都網站建設公司_創新互聯，為您提供品牌網站制作、用戶體驗、網站設計、品牌網站建設、云服務器、網站內鏈

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯