spark如何合并github

小編給大家分享一下spark如何合并github，希望大家閱讀完這篇文章之后都有所收獲，下面讓我們一起去探討吧！

成都創新互聯主要為客戶提供服務項目涵蓋了網頁視覺設計、VI標志設計、營銷網站、網站程序開發、HTML5響應式網站建設公司、成都做手機網站、微商城、網站托管及網站建設維護、WEB系統開發、域名注冊、國內外服務器租用、視頻、平面設計、SEO優化排名。設計、前端、后端三個建站步驟的完善服務體系。一人跟蹤測試的建站服務標準。已經為成都石牌坊行業客戶提供了網站開發服務。

最近在做內部spark版本升級的工作，涉及到github 上合并pr的工作，具體的是spark 2.x升級到spark 3.0.1時兼容hdfs cdh-2.6.0-5.13.1，報編譯錯誤

[INFO] Compiling 25 Scala sources to /Users/libinsong/Documents/codes/tongdun/spark-3.0/resource-managers/yarn/target/scala-2.12/classes ...
[ERROR] [Error] resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala:298: value setRolledLogsIncludePattern is not a member of org.apache.hadoop.yarn.api.records.LogAggregationContext
[ERROR] [Error] resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala:300: value setRolledLogsExcludePattern is not a member of org.apache.hadoop.yarn.api.records.LogAggregationContext
[ERROR] [Error] resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala:551: not found: value isLocalUri
[ERROR] [Error] resource-managers/yarn/src/main/scala/org/apache/spark/deploy/yarn/Client.scala:1367: not found: value isLocalUri
[ERROR] four errors found

具體的解決方法github spark pr 已經給出了解決方法，修改相應的代碼就行,但是僅僅是修改的話，我們可以選擇一種更加優雅的方式（以git cherry-pick方式），
現在簡單的分享一下：

直接找到setRolledLogsIncludePattern一行，

 sparkConf.get(ROLLED_LOG_INCLUDE_PATTERN).foreach { includePattern =>
      try {
        val logAggregationContext = Records.newRecord(classOf[LogAggregationContext])
        logAggregationContext.setRolledLogsIncludePattern(includePattern)
        sparkConf.get(ROLLED_LOG_EXCLUDE_PATTERN).foreach { excludePattern =>
          logAggregationContext.setRolledLogsExcludePattern(excludePattern)
        }
        appContext.setLogAggregationContext(logAggregationContext)
      } catch {
        case NonFatal(e) =>
          logWarning(s"Ignoring ${ROLLED_LOG_INCLUDE_PATTERN.key} because the version of YARN " +
            "does not support it", e)
      }
    }
    appContext.setUnmanagedAM(isClientUnmanagedAMEnabled)

    sparkConf.get(APPLICATION_PRIORITY).foreach { appPriority =>
      appContext.setPriority(Priority.newInstance(appPriority))
    }
    appContext
  }

發現master上的代碼并不是我們想要的，這個時候我們就可以使用git blame,在github上為
spark如何合并github