mysql中建表時如何設置一個字段的步長

CREATE TABLE jobs

陜州網站建設公司成都創新互聯,陜州網站設計制作，有大型網站制作公司豐富經驗。已為陜州1000多家提供企業網站建設服務。企業網站搭建\外貿網站建設要多少錢，請找那個售后服務好的陜州做網站的公司定做！

(

job_id smallint

IDENTITY(1,1)--在這里設置步長，第一個1是種子，就是開始號，第二個1 就是步長，就是每次增長增加的數量。

PRIMARY KEY CLUSTERED,

job_desc varchar(50) NOT NULL

DEFAULT 'New Position - title not formalized yet',

min_lvl tinyint NOT NULL

CHECK (min_lvl = 10),

max_lvl tinyint NOT NULL

CHECK (max_lvl = 250)

)

go

sqoop導入mysql中表必須手動創建么

sqoop使用hsql來存儲job信息，開啟metastor service將job信息共享，所有node上的sqoop都可以運行同一個job

一、sqoop的配置文件在sqoop.site.xml中：

1、sqoop.metastore.server.location

本地存儲路徑，默認在tmp下，改為其他路徑

2、sqoop.metastore.server.port

metastore service端口號

3、sqoop.metastore.client.autoconnect.url

sqoop自動連接的metastore地址，默認是本地的metastore地址

4、sqoop.metastore.client.enable.autoconnect

開啟自動連接。sqoop默認連接本地metastore。注釋這個配置會開啟自動連接。

二、開啟metastore service

sqoop下，nohup bin/sqoop metastore

三、創建job

sqoop支持兩種增量導入模式，

一種是 append，即通過指定一個遞增的列，比如：

--incremental append --check-column num_iid --last-value 0

varchar類型的check字段也可以通過這種方式增量導入（id為varchar類型的遞增數字）：

--incremental append --check-column id --last-value 8

另種是可以根據時間戳，比如：

--incremental lastmodified --check-column created --last-value '2012-02-01 11:0:00'

就是只導入created 比'2012-02-01 11:0:00'更大的數據。

bin/sqoop job --meta-connect jdbc:hsqldb:hsql://10.106.1.234:16000/sqoop --create job_zyztest13 -- import --connect jdbc:oracle:thin:@10.106.1.236:1521:orcl --username SQOOP --password sqoop --table LXC_TEST_HBASE_TO_ORACLE --columns NAME,SEX,age,CSRQ -m 1 --hbase-table SQOOP_IMPORT_TEST3 --column-family info --hbase-row-key NAME --split-by NAME --incremental lastmodified --check-column CSRQ --last-value '2012-02-01 11:0:00' --verbose

nohup /opt/hadoopcluster/sqoop-1.4.2.bin__hadoop-2.0.0-alpha/bin/sqoop job --exec job_zyztest13 job_zyztest13.out 21

此時，在10.106.1.234上創建了job_zyztest13這個job，通過bin/sqoop job --meta-connect jdbc:hsqldb:hsql://10.106.1.234:16000/sqoop --list可以查看所有job

四、定時執行

使用linux定時器：crontab -e

編輯定時器，添加*/4 * * * * /opt/hadoopcluster/sqoop-1.4.2.bin__hadoop-2.0.0-alpha/bin/sqoop job --meta-connect jdbc:hsqldb:hsql://10.106.1.234:16000/sqoop --exec job_zyztest13 job_zyztest13.out 21 任務將會每四分鐘執行一次

Mysql建立索引經驗

在實際開發中使用數據庫時，難免會遇到一些大表數據，對這些數據進行查詢時，有時候SQL會查詢得特別慢，這時候，有經驗的老師傅會告訴你，你看一下哪幾個字段查的多，加一個索引就好了。

那么，怎么合理地建立索引呢？這里分享一下我的一些經驗，如有不妥之處，歡迎批評指正。

1、不要盲目建立索引 ， 先分析再創建

索引雖然能大幅度提升我們的查詢性能，但也要知道，在你進行增刪改時，索引樹也要同樣地進行維護。所以，索引不是越多越好，而是按需建立。最好是在一整塊模塊開發完成后，分析一下，去針對大多數的查詢，建立聯合索引。

2、使用聯合索引盡量覆蓋多的條件

這是說在一個慢sql里假如有五個where ，一個 order by ，那么我們的聯合索引盡量覆蓋到這五個查詢條件，如果有必要，order by 也覆蓋上 。

3、小基數字段不需要索引

這個意思是，如果一張表里某個字段的值只有那么幾個，那么你針對這個字段建立的索引其實沒什么意義，比如說，一個性別字段就兩種結果，你建了索引，排序也沒什么意思（也就是索引里把男女給分開了）

所以說，索引盡量選擇基數大的數據去建立，能最大化地利用索引

4、長字符串可以使用前綴索引

我們建立索引的字段盡量選擇字段類型較小的，比如一個varchar(20)和varchar(256)的，我們在20的上面建立的索引和在256上就有明顯的差距（字符串那么長排序也不好排呀，唉）。

當然，如果一定是要對varchar(256)建立索引,我們可以選擇里面的前20個字符放在索引樹里（這里的20不絕對，選擇能盡量分辨數據的最小字符字段設計），類似這樣KEY index(name(20),age,job) ，索引只會對name的前20個字符進行搜索，但前綴索引無法適用于order by 和 group by。

5、對排序字段設計索引的優先級低

如果一個SQL里我們出現了范圍查找，后邊又跟著一個排序字段，那么我們優先給范圍查找的字段設置索引，而不是優先排序。

6、如果出現慢SQL，可以設計一個只針對該條SQL的聯合索引。

不過慢SQL的優化，需要一步步去進行分析，可以先用explain查看SQL語句的分析結果，再針對結果去做相應的改進。explain的東西我們下次再講。

PS：在 select 語句之前增加 explain 關鍵字，MySQL 會在查詢上設置一個標記，執行查詢會返回執行計劃的信息，而不是 執行這條SQL。

調度工具（ETL+任務流）

kettle是一個ETL工具，ETL（Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程）。

kettle中文名稱叫水壺，該項目的主程序員MATT 希望把各種數據放到一個壺里，然后以一種指定的格式流出。

所以他的重心是用于數據

oozie是一個工作流，Oozie工作流是放置在控制依賴DAG（有向無環圖 Direct Acyclic Graph）中的一組動作（例如，Hadoop的Map/Reduce作業、Pig作業等），其中指定了動作執行的順序。

oozie工作流中是有數據流動的，但是重心是在于工作流的定義。

二者雖然都有相關功能及數據的流動，但是其實用途是不一樣的。

查看幫助

列舉出所有linux上的數據庫

列舉出所有Window上的數據庫

查看數據庫下的所有表

（1）確定mysql服務啟動正常

查詢控制端口和查詢進程來確定，一下兩種辦法可以確認mysql是否在啟動狀態

辦法1：查詢端口

MySQL監控的TCP的3306端口，如果顯示3306，證明MySQL服務在運行中

辦法二：查詢進程

可以看見mysql的進程

沒有指定數據導入到哪個目錄，默認是/user/root/表名

原因:

如果表中有主鍵,m的值可以設置大于1的值;如果沒有主鍵只能將m值設置成為1;或者要將m值大于1,需要使用--split-by指定一個字段

設置了-m 1 說明只有一個maptask執行數據導入,默認是4個maptask執行導入操作,但是必須指定一個列來作為劃分依據

導入數據到指定目錄

在導入表數據到HDFS使用Sqoop導入工具，我們可以指定目標目錄。使用參數 --target-dir來指定導出目的地，使用參數—delete-target-dir來判斷導出目錄是否存在，如果存在就刪掉

查詢導入

提示：must contain '$CONDITIONS' in WHERE clause。

where id =1 匹配條件

$CONDITIONS：傳遞作用。

如果 query 后使用的是雙引號，則 $CONDITIONS前必須加轉義符，防止 shell 識別為自己的變量。

--query時不能使用--table一起使用

需要指定--target-dir路徑

導入到hdfs指定目錄并指定要求

數據導出儲存方式（數據存儲文件格式---（ textfil parquet）--as-textfileImports data as plain text (default)--as-parquetfile Imports data to Parquet Files）

導入表數據子集到HDFS

sqoop導入blob數據到hive

對于CLOB，如xml文本，sqoop可以遷移到Hive表，對應字段存儲為字符類型。

對于BLOB，如jpg圖片，sqoop無法直接遷移到Hive表，只能先遷移到HDFS路徑，然后再使用Hive命令加載到Hive表。遷移到HDFS后BLOB字段存儲為16進制形式。

2.1.3導入關系表到Hive

第一步:導入需要的jar包

將我們mysql表當中的數據直接導入到hive表中的話，我們需要將hive的一個叫做hive-exec-1.1.0-cdh5.14.0.jar的jar包拷貝到sqoop的lib目錄下

第二步:開始導入

導入關系表到hive并自動創建hive表

們也可以通過命令來將我們的mysql的表直接導入到hive表當中去

通過這個命令，我們可以直接將我們mysql表當中的數據以及表結構一起倒入到hive當中去

--incremental 增量模式。

append id 是獲取一個某一列的某個值。

lastmodified “2016-12-15 15：47：35” 獲取某個時間后修改的所有數據

-append 附加模式

-merge-key id 合并模式

--check-column 用來指定一些列，可以去指定多個列；通常的是指定主鍵id

--last -value 從哪個值開始增量

==注意:增量導入的時候,一定不能加參數--delete-target-dir 否則會報錯==

第一種增量導入方式(不常用)

1.Append方式

使用場景：有個訂單表，里面每個訂單有一個唯一標識的自增列id，在關系型數據庫中以主鍵的形式存在。之前已經將id在0-1000之間的編號的訂單導入到HDFS 中；如果在產生新的訂單，此時我們只需指定incremental參數為append，--last-value參數為1000即可，表示只從id大于1000后開始導入。

（1）創建一個MySQL表

（2）創建一個hive表（表結構與mysql一致）

注意：

append 模式不支持寫入到hive表中

2.lastModify方式

此方式要求原有表有time字段，它能指定一個時間戳，讓sqoop把該時間戳之后的數據導入到HDFS；因為后續訂單可能狀體會變化，變化后time字段時間戳也會變化，此時sqoop依然會將相同狀態更改后的訂單導入HDFS，當然我們可以只當merge-key參數為order-id，表示將后續新的記錄和原有記錄合并。

# 將時間列大于等于閾值的數據增量導入HDFS

使用 lastmodified 方式導入數據，要指定增量數據是要 --append（追加）還是要 --merge-key（合并）last-value 指定的值是會包含于增量導入的數據中。

第二種增量導入方式(推薦)

==通過where條件選取數據更加精準==

2.1.5從RDBMS到HBase

會報錯

原因：sqoop1.4.6 只支持 HBase1.0.1 之前的版本的自動創建 HBase 表的功能。

解決方案：手動創建 HBase 表

導出前，目標表必須存在與目標數據庫中

默認操作是將文件中的數據使用insert語句插入到表中

數據是在HDFS當中的如下目錄/sqoop/emp，數據內容如下

第一步：創建MySQL表

第二步：執行導出命令

通過export來實現數據的導出，將hdfs的數據導出到mysql當中去

全量導出

增量導出

更新導出

總結:

參數介紹

--update-key 后面也可以接多個關鍵字列名，可以使用逗號隔開，Sqoop將會匹配多個關鍵字后再執行更新操作。

--export-dir 參數配合--table或者--call參數使用，指定了HDFS上需要將數據導入到MySQL中的文件集目錄。

--update-mode updateonly和allowinsert。 默認模式為updateonly，如果指定--update-mode模式為allowinsert，可以將目標數據庫中原來不存在的數據也導入到數據庫表中。即將存在的數據更新，不存在數據插入。

組合測試及說明

1、當指定update-key，且關系型數據庫表存在主鍵時：

A、allowinsert模式時，為更新目標數據庫表存的內容，并且原來不存在的數據也導入到數據庫表；

B、updateonly模式時，為更新目標數據庫表存的內容，并且原來不存在的數據也不導入到數據庫表；

2、當指定update-key，且關系型數據庫表不存在主鍵時：

A、allowinsert模式時，為全部數據追加導入到數據庫表；

B、updateonly模式時，為更新目標數據庫表存的內容，并且原來不存在的數據也不導入到數據庫表；

3、當不指定update-key，且關系型數據庫表存在主鍵時：

A、allowinsert模式時，報主鍵沖突，數據無變化；

B、updateonly模式時，報主鍵沖突，數據無變化；

4、當不指定update-key，且關系型數據庫表不存在主鍵時：

A、allowinsert模式時，為全部數據追加導入到數據庫表；

B、updateonly模式時，為全部數據追加導入到數據庫表；

實際案例:

(1)mysql批量導入hive

使用shell腳本：

筆者目前用sqoop把mysql數據導入到Hive中，最后實現命令行導入，sqoop版本1.4.7，實現如下

最后需要把這個導入搞成job，每天定時去跑，實現數據的自動化增量導入，sqoop支持job的管理，可以把導入創建成job重復去跑，并且它會在metastore中記錄增值，每次執行增量導入之前去查詢

創建job命令如下

創建完job就可以去執行它了

sqoop job --exec users

可以把該指令設為Linux定時任務，或者用Azkaban定時去執行它

hive導出到MySQL時，date類型數據發生變化？

問題原因：時區設置問題，date -R查看服務器時間，show VARIABLES LIKE "%time_zone"查看Mysql時間，system并不表示中國的標準時間，要將時間設置為東八區

（1）：對市面上最流行的兩種調度器，給出以下詳細對比，以供技術選型參考。總體來說，ooize相比azkaban是一個重量級的任務調度系統，功能全面，但配置使用也更復雜。如果可以不在意某些功能的缺失，輕量級調度器azkaban是很不錯的候選對象。

（2）：功能：

兩者均可以調度mapreduce,pig,java,腳本工作流任務；

兩者均可以定時執行工作流任務；

（3）：工作流定義：

Azkaban使用Properties文件定義工作流；

Oozie使用XML文件定義工作流；

（4）：工作流傳參：

Azkaban支持直接傳參，例如${input}；

Oozie支持參數和EL表達式，例如${fs:dirSize(myInputDir)}；

（5）：定時執行：

Azkaban的定時執行任務是基于時間的；

Oozie的定時執行任務基于時間和輸入數據；

（6）：資源管理：

Azkaban有較嚴格的權限控制，如用戶對工作流進行讀/寫/執行等操作；

Oozie暫無嚴格的權限控制；

（7）：工作流執行：

Azkaban有兩種運行模式，分別是solo server mode(executor server和web server部署在同一臺節點)和multi server mode(executor server和web server可以部署在不同節點)；

Oozie作為工作流服務器運行，支持多用戶和多工作流；

（8）：工作流管理：

Azkaban支持瀏覽器以及ajax方式操作工作流；

Oozie支持命令行、HTTP REST、Java API、瀏覽器操作工作流；

瀏覽器頁面訪問

使用Oozie時通常整合hue,用戶數據倉庫調度

就是剛才選擇的腳本

腳本里需要的參數，盡量設置為動態自動獲取，如 ${date}

第一步的參數是所有文件和當天日期，后面的只需要日期，最后一步是導出所有結果，相應填入

添加文件和設置相應參數

運行后會有狀態提示頁面，可以看到任務進度

點擊調度任務的頁面情況

修改定時任務名和描述

添加需要定時調度的任務

sm-workflow的參數都是寫死的，沒有設置動態，這里的下拉列表就不會有可選項。

設置參數

將sm-workflow的日期修改為 ${do_date}，保存

進入定時計劃sm-dw中，會看到有參數 do_date

填入相應參數，前一天日期

Oozie常用系統常量

當然，也可以通過這樣將參數傳入workflow任務中，代碼或者shell中需要的參數。

如，修改sm-workflow 中的 sqoop_import.sh，添加一個參數 ${num}。

編輯文件（需要登陸Hue的用戶有對HDFS操作的權限），修改shell中的一個值為參數，保存。

在workflow中，編輯添加參數 ${num} ，或者num=${num} 保存。

進入schedule中，可以看到添加的參數，編輯輸入相應參數即可。

Bundle統一管理所有定時調度，階段劃分：Bundle Schedule workflow

當前標題：mysql怎么建job,自建mysql
標題路徑：http://vcdvsql.cn/article38/hecopp.html

成都網站建設公司_創新互聯，為您提供虛擬主機、外貿建站、用戶體驗、關鍵詞優化、移動網站建設、Google

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯