pyspark3操作csv和postgresql+解決"No suitable driver"報(bào)錯(cuò)該怎么辦，針對(duì)這個(gè)問(wèn)題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問(wèn)題的小伙伴找到更簡(jiǎn)單易行的方法。

網(wǎng)站建設(shè)哪家好，找成都創(chuàng)新互聯(lián)公司！專注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、微信小程序定制開(kāi)發(fā)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶創(chuàng)新互聯(lián)還提供了慶元免費(fèi)建站歡迎大家使用！

環(huán)境

• postgresql 9.6

• Windows 10

• pyspark 3.0.1

• python 3.8

操作postgresql的話，需要下載對(duì)應(yīng)的jdbc包：https://jdbc.postgresql.org/download.html

使用

from pyspark import SparkContext, SparkConf
from pyspark.sql.session import SparkSession

# 讀取csv
sc = SparkContext()
sqlContext = SparkSession.builder.appName('enen').getOrCreate()
raw_date = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true', encoding='utf8').load(r'./abc.csv')
raw_date.show(10)

# 讀取postgresql表結(jié)構(gòu)(JDBC)
spark = SparkSession \
    .builder \
    .appName('Python Spark Postgresql') \
    .config("spark.jars", "./postgresql-42.2.18.jar") \
    .config('spark.driver.extraClassPath', './postgresql-42.2.18.jar') \
    .getOrCreate()

df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:postgresql://localhost:5432/db_name") \
    .option("dbtable", "table_name") \
    .option("user", "postgres") \
    .option("password", "123456789") \
    .load()

df.printSchema()

注意

一定要設(shè)置.config('spark.driver.extraClassPath', './postgresql-42.2.18.jar')不然會(huì)報(bào)錯(cuò)如下：

java.sql.SQLException: No suitable driver
 at java.sql.DriverManager.getDriver(Unknown Source)

關(guān)于pyspark3操作csv和postgresql+解決"No suitable driver"報(bào)錯(cuò)該怎么辦問(wèn)題的解答就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，如果你還有很多疑惑沒(méi)有解開(kāi)，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關(guān)知識(shí)。

當(dāng)前題目：pyspark3操作csv和postgresql+解決"Nosuitabledriver"報(bào)錯(cuò)該怎么辦
本文URL：http://vcdvsql.cn/article30/pepspo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計(jì)公司、網(wǎng)站收錄、App設(shè)計(jì)、網(wǎng)站改版、App開(kāi)發(fā)、面包屑導(dǎo)航

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)