php怎么處理高并發

以下內容轉載自徐漢彬大牛的博客?億級Web系統搭建——單機到分布式集群?

成都創新互聯服務項目包括霸州網站建設、霸州網站制作、霸州網頁制作以及霸州網絡營銷策劃等。多年來，我們專注于互聯網行業，利用自身積累的技術優勢、行業經驗、深度合作伙伴關系等，向廣大中小型企業、政府機構等提供互聯網行業的解決方案，霸州網站推廣取得了明顯的社會效益與經濟效益。目前，我們服務的客戶以成都為中心已經輻射到霸州省份的部分城市，未來相信會繼續擴大服務區域并繼續獲得客戶的支持與信任！

當一個Web系統從日訪問量10萬逐步增長到1000萬，甚至超過1億的過程中，Web系統承受的壓力會越來越大，在這個過程中，我們會遇到很多的問題。為了解決這些性能壓力帶來問題，我們需要在Web系統架構層面搭建多個層次的緩存機制。在不同的壓力階段，我們會遇到不同的問題，通過搭建不同的服務和架構來解決。

Web負載均衡?

Web負載均衡（Load Balancing），簡單地說就是給我們的服務器集群分配“工作任務”，而采用恰當的分配方式，對于保護處于后端的Web服務器來說，非常重要。

負載均衡的策略有很多，我們從簡單的講起哈。

1.?HTTP重定向

當用戶發來請求的時候，Web服務器通過修改HTTP響應頭中的Location標記來返回一個新的url，然后瀏覽器再繼續請求這個新url，實際上就是頁面重定向。通過重定向，來達到“負載均衡”的目標。例如，我們在下載PHP源碼包的時候，點擊下載鏈接時，為了解決不同國家和地域下載速度的問題，它會返回一個離我們近的下載地址。重定向的HTTP返回碼是302

這個重定向非常容易實現，并且可以自定義各種策略。但是，它在大規模訪問量下，性能不佳。而且，給用戶的體驗也不好，實際請求發生重定向，增加了網絡延時。

2. 反向代理負載均衡

反向代理服務的核心工作主要是轉發HTTP請求，扮演了瀏覽器端和后臺Web服務器中轉的角色。因為它工作在HTTP層（應用層），也就是網絡七層結構中的第七層，因此也被稱為“七層負載均衡”。可以做反向代理的軟件很多，比較常見的一種是Nginx。

Nginx是一種非常靈活的反向代理軟件，可以自由定制化轉發策略，分配服務器流量的權重等。反向代理中，常見的一個問題，就是Web服務器存儲的session數據，因為一般負載均衡的策略都是隨機分配請求的。同一個登錄用戶的請求，無法保證一定分配到相同的Web機器上，會導致無法找到session的問題。

解決方案主要有兩種：

1.?配置反向代理的轉發規則，讓同一個用戶的請求一定落到同一臺機器上（通過分析cookie），復雜的轉發規則將會消耗更多的CPU，也增加了代理服務器的負擔。

2.?將session這類的信息，專門用某個獨立服務來存儲，例如redis/memchache，這個方案是比較推薦的。

反向代理服務，也是可以開啟緩存的，如果開啟了，會增加反向代理的負擔，需要謹慎使用。這種負載均衡策略實現和部署非常簡單，而且性能表現也比較好。但是，它有“單點故障”的問題，如果掛了，會帶來很多的麻煩。而且，到了后期Web服務器繼續增加，它本身可能成為系統的瓶頸。

3. IP負載均衡

IP負載均衡服務是工作在網絡層（修改IP）和傳輸層（修改端口，第四層），比起工作在應用層（第七層）性能要高出非常多。原理是，他是對IP層的數據包的IP地址和端口信息進行修改，達到負載均衡的目的。這種方式，也被稱為“四層負載均衡”。常見的負載均衡方式，是LVS（Linux Virtual Server，Linux虛擬服務），通過IPVS（IP Virtual Server，IP虛擬服務）來實現。

在負載均衡服務器收到客戶端的IP包的時候，會修改IP包的目標IP地址或端口，然后原封不動地投遞到內部網絡中，數據包會流入到實際Web服務器。實際服務器處理完成后，又會將數據包投遞回給負載均衡服務器，它再修改目標IP地址為用戶IP地址，最終回到客戶端。

上述的方式叫LVS-NAT，除此之外，還有LVS-RD（直接路由），LVS-TUN（IP隧道），三者之間都屬于LVS的方式，但是有一定的區別，篇幅問題，不贅敘。

IP負載均衡的性能要高出Nginx的反向代理很多，它只處理到傳輸層為止的數據包，并不做進一步的組包，然后直接轉發給實際服務器。不過，它的配置和搭建比較復雜。

4. DNS負載均衡

DNS（Domain Name System）負責域名解析的服務，域名url實際上是服務器的別名，實際映射是一個IP地址，解析過程，就是DNS完成域名到IP的映射。而一個域名是可以配置成對應多個IP的。因此，DNS也就可以作為負載均衡服務。

這種負載均衡策略，配置簡單，性能極佳。但是，不能自由定義規則，而且，變更被映射的IP或者機器故障時很麻煩，還存在DNS生效延遲的問題。?

5. DNS/GSLB負載均衡

我們常用的CDN（Content Delivery Network，內容分發網絡）實現方式，其實就是在同一個域名映射為多IP的基礎上更進一步，通過GSLB（Global Server Load Balance，全局負載均衡）按照指定規則映射域名的IP。一般情況下都是按照地理位置，將離用戶近的IP返回給用戶，減少網絡傳輸中的路由節點之間的跳躍消耗。

“向上尋找”，實際過程是LDNS（Local DNS）先向根域名服務（Root Name Server）獲取到頂級根的Name Server（例如點抗 的），然后得到指定域名的授權DNS，然后再獲得實際服務器IP。

CDN在Web系統中，一般情況下是用來解決大小較大的靜態資源（html/Js/Css/圖片等）的加載問題，讓這些比較依賴網絡下載的內容，盡可能離用戶更近，提升用戶體驗。

例如，我訪問了一張imgcache.gtimg點吸煙 上的圖片（騰訊的自建CDN，不使用qq點抗 域名的原因是防止http請求的時候，帶上了多余的cookie信息），我獲得的IP是183.60.217.90。

這種方式，和前面的DNS負載均衡一樣，不僅性能極佳，而且支持配置多種策略。但是，搭建和維護成本非常高。互聯網一線公司，會自建CDN服務，中小型公司一般使用第三方提供的CDN。

Web系統的緩存機制的建立和優化

剛剛我們講完了Web系統的外部網絡環境，現在我們開始關注我們Web系統自身的性能問題。我們的Web站點隨著訪問量的上升，會遇到很多的挑戰，解決這些問題不僅僅是擴容機器這么簡單，建立和使用合適的緩存機制才是根本。

最開始，我們的Web系統架構可能是這樣的，每個環節，都可能只有1臺機器。

我們從最根本的數據存儲開始看哈。

一、 MySQL數據庫內部緩存使用

MySQL的緩存機制，就從先從MySQL內部開始，下面的內容將以最常見的InnoDB存儲引擎為主。

1. 建立恰當的索引

最簡單的是建立索引，索引在表數據比較大的時候，起到快速檢索數據的作用，但是成本也是有的。首先，占用了一定的磁盤空間，其中組合索引最突出，使用需要謹慎，它產生的索引甚至會比源數據更大。其次，建立索引之后的數據insert/update/delete等操作，因為需要更新原來的索引，耗時會增加。當然，實際上我們的系統從總體來說，是以select查詢操作居多，因此，索引的使用仍然對系統性能有大幅提升的作用。

2. 數據庫連接線程池緩存

如果，每一個數據庫操作請求都需要創建和銷毀連接的話，對數據庫來說，無疑也是一種巨大的開銷。為了減少這類型的開銷，可以在MySQL中配置thread_cache_size來表示保留多少線程用于復用。線程不夠的時候，再創建，空閑過多的時候，則銷毀。

其實，還有更為激進一點的做法，使用pconnect（數據庫長連接），線程一旦創建在很長時間內都保持著。但是，在訪問量比較大，機器比較多的情況下，這種用法很可能會導致“數據庫連接數耗盡”，因為建立連接并不回收，最終達到數據庫的max_connections（最大連接數）。因此，長連接的用法通常需要在CGI和MySQL之間實現一個“連接池”服務，控制CGI機器“盲目”創建連接數。

建立數據庫連接池服務，有很多實現的方式，PHP的話，我推薦使用swoole（PHP的一個網絡通訊拓展）來實現。

3. Innodb緩存設置（innodb_buffer_pool_size）

innodb_buffer_pool_size這是個用來保存索引和數據的內存緩存區，如果機器是MySQL獨占的機器，一般推薦為機器物理內存的80%。在取表數據的場景中，它可以減少磁盤IO。一般來說，這個值設置越大，cache命中率會越高。

4. 分庫/分表/分區。

MySQL數據庫表一般承受數據量在百萬級別，再往上增長，各項性能將會出現大幅度下降，因此，當我們預見數據量會超過這個量級的時候，建議進行分庫/分表/分區等操作。最好的做法，是服務在搭建之初就設計為分庫分表的存儲模式，從根本上杜絕中后期的風險。不過，會犧牲一些便利性，例如列表式的查詢，同時，也增加了維護的復雜度。不過，到了數據量千萬級別或者以上的時候，我們會發現，它們都是值得的。?

二、 MySQL數據庫多臺服務搭建

1臺MySQL機器，實際上是高風險的單點，因為如果它掛了，我們Web服務就不可用了。而且，隨著Web系統訪問量繼續增加，終于有一天，我們發現1臺MySQL服務器無法支撐下去，我們開始需要使用更多的MySQL機器。當引入多臺MySQL機器的時候，很多新的問題又將產生。

1. 建立MySQL主從，從庫作為備份

這種做法純粹為了解決“單點故障”的問題，在主庫出故障的時候，切換到從庫。不過，這種做法實際上有點浪費資源，因為從庫實際上被閑著了。

2. MySQL讀寫分離，主庫寫，從庫讀。

兩臺數據庫做讀寫分離，主庫負責寫入類的操作，從庫負責讀的操作。并且，如果主庫發生故障，仍然不影響讀的操作，同時也可以將全部讀寫都臨時切換到從庫中（需要注意流量，可能會因為流量過大，把從庫也拖垮）。

3. 主主互備。

兩臺MySQL之間互為彼此的從庫，同時又是主庫。這種方案，既做到了訪問量的壓力分流，同時也解決了“單點故障”問題。任何一臺故障，都還有另外一套可供使用的服務。

不過，這種方案，只能用在兩臺機器的場景。如果業務拓展還是很快的話，可以選擇將業務分離，建立多個主主互備。

三、 MySQL數據庫機器之間的數據同步

每當我們解決一個問題，新的問題必然誕生在舊的解決方案上。當我們有多臺MySQL，在業務高峰期，很可能出現兩個庫之間的數據有延遲的場景。并且，網絡和機器負載等，也會影響數據同步的延遲。我們曾經遇到過，在日訪問量接近1億的特殊場景下，出現，從庫數據需要很多天才能同步追上主庫的數據。這種場景下，從庫基本失去效用了。

于是，解決同步問題，就是我們下一步需要關注的點。

1. MySQL自帶多線程同步

MySQL5.6開始支持主庫和從庫數據同步，走多線程。但是，限制也是比較明顯的，只能以庫為單位。MySQL數據同步是通過binlog日志，主庫寫入到binlog日志的操作，是具有順序的，尤其當SQL操作中含有對于表結構的修改等操作，對于后續的SQL語句操作是有影響的。因此，從庫同步數據，必須走單進程。

2. 自己實現解析binlog，多線程寫入。

以數據庫的表為單位，解析binlog多張表同時做數據同步。這樣做的話，的確能夠加快數據同步的效率，但是，如果表和表之間存在結構關系或者數據依賴的話，則同樣存在寫入順序的問題。這種方式，可用于一些比較穩定并且相對獨立的數據表。

國內一線互聯網公司，大部分都是通過這種方式，來加快數據同步效率。還有更為激進的做法，是直接解析binlog，忽略以表為單位，直接寫入。但是這種做法，實現復雜，使用范圍就更受到限制，只能用于一些場景特殊的數據庫中（沒有表結構變更，表和表之間沒有數據依賴等特殊表）。?

四、 在Web服務器和數據庫之間建立緩存

實際上，解決大訪問量的問題，不能僅僅著眼于數據庫層面。根據“二八定律”，80%的請求只關注在20%的熱點數據上。因此，我們應該建立Web服務器和數據庫之間的緩存機制。這種機制，可以用磁盤作為緩存，也可以用內存緩存的方式。通過它們，將大部分的熱點數據查詢，阻擋在數據庫之前。

1. 頁面靜態化

用戶訪問網站的某個頁面，頁面上的大部分內容在很長一段時間內，可能都是沒有變化的。例如一篇新聞報道，一旦發布幾乎是不會修改內容的。這樣的話，通過CGI生成的靜態html頁面緩存到Web服務器的磁盤本地。除了第一次，是通過動態CGI查詢數據庫獲取之外，之后都直接將本地磁盤文件返回給用戶。

在Web系統規模比較小的時候，這種做法看似完美。但是，一旦Web系統規模變大，例如當我有100臺的Web服務器的時候。那樣這些磁盤文件，將會有100份，這個是資源浪費，也不好維護。這個時候有人會想，可以集中一臺服務器存起來，呵呵，不如看看下面一種緩存方式吧，它就是這樣做的。

2. 單臺內存緩存

通過頁面靜態化的例子中，我們可以知道將“緩存”搭建在Web機器本機是不好維護的，會帶來更多問題（實際上，通過PHP的apc拓展，可通過Key/value操作Web服務器的本機內存）。因此，我們選擇搭建的內存緩存服務，也必須是一個獨立的服務。

內存緩存的選擇，主要有redis/memcache。從性能上說，兩者差別不大，從功能豐富程度上說，Redis更勝一籌。

3. 內存緩存集群

當我們搭建單臺內存緩存完畢，我們又會面臨單點故障的問題，因此，我們必須將它變成一個集群。簡單的做法，是給他增加一個slave作為備份機器。但是，如果請求量真的很多，我們發現cache命中率不高，需要更多的機器內存呢？因此，我們更建議將它配置成一個集群。例如，類似redis cluster。

Redis cluster集群內的Redis互為多組主從，同時每個節點都可以接受請求，在拓展集群的時候比較方便。客戶端可以向任意一個節點發送請求，如果是它的“負責”的內容，則直接返回內容。否則，查找實際負責Redis節點，然后將地址告知客戶端，客戶端重新請求。

對于使用緩存服務的客戶端來說，這一切是透明的。

內存緩存服務在切換的時候，是有一定風險的。從A集群切換到B集群的過程中，必須保證B集群提前做好“預熱”（B集群的內存中的熱點數據，應該盡量與A集群相同，否則，切換的一瞬間大量請求內容，在B集群的內存緩存中查找不到，流量直接沖擊后端的數據庫服務，很可能導致數據庫宕機）。

4. 減少數據庫“寫”

上面的機制，都實現減少數據庫的“讀”的操作，但是，寫的操作也是一個大的壓力。寫的操作，雖然無法減少，但是可以通過合并請求，來起到減輕壓力的效果。這個時候，我們就需要在內存緩存集群和數據庫集群之間，建立一個修改同步機制。

先將修改請求生效在cache中，讓外界查詢顯示正常，然后將這些sql修改放入到一個隊列中存儲起來，隊列滿或者每隔一段時間，合并為一個請求到數據庫中更新數據庫。

除了上述通過改變系統架構的方式提升寫的性能外，MySQL本身也可以通過配置參數innodb_flush_log_at_trx_commit來調整寫入磁盤的策略。如果機器成本允許，從硬件層面解決問題，可以選擇老一點的RAID（Redundant Arrays of independent Disks，磁盤列陣）或者比較新的SSD（Solid State Drives，固態硬盤）。

5. NoSQL存儲

不管數據庫的讀還是寫，當流量再進一步上漲，終會達到“人力有窮時”的場景。繼續加機器的成本比較高，并且不一定可以真正解決問題的時候。這個時候，部分核心數據，就可以考慮使用NoSQL的數據庫。NoSQL存儲，大部分都是采用key-value的方式，這里比較推薦使用上面介紹過Redis，Redis本身是一個內存cache，同時也可以當做一個存儲來使用，讓它直接將數據落地到磁盤。

這樣的話，我們就將數據庫中某些被頻繁讀寫的數據，分離出來，放在我們新搭建的Redis存儲集群中，又進一步減輕原來MySQL數據庫的壓力，同時因為Redis本身是個內存級別的Cache，讀寫的性能都會大幅度提升。

國內一線互聯網公司，架構上采用的解決方案很多是類似于上述方案，不過，使用的cache服務卻不一定是Redis，他們會有更豐富的其他選擇，甚至根據自身業務特點開發出自己的NoSQL服務。

6. 空節點查詢問題

當我們搭建完前面所說的全部服務，認為Web系統已經很強的時候。我們還是那句話，新的問題還是會來的。空節點查詢，是指那些數據庫中根本不存在的數據請求。例如，我請求查詢一個不存在人員信息，系統會從各級緩存逐級查找，最后查到到數據庫本身，然后才得出查找不到的結論，返回給前端。因為各級cache對它無效，這個請求是非常消耗系統資源的，而如果大量的空節點查詢，是可以沖擊到系統服務的。

在我曾經的工作經歷中，曾深受其害。因此，為了維護Web系統的穩定性，設計適當的空節點過濾機制，非常有必要。

我們當時采用的方式，就是設計一張簡單的記錄映射表。將存在的記錄存儲起來，放入到一臺內存cache中，這樣的話，如果還有空節點查詢，則在緩存這一層就被阻擋了。

異地部署（地理分布式）

完成了上述架構建設之后，我們的系統是否就已經足夠強大了呢？答案當然是否定的哈，優化是無極限的。Web系統雖然表面上看，似乎比較強大了，但是給予用戶的體驗卻不一定是最好的。因為東北的同學，訪問深圳的一個網站服務，他還是會感到一些網絡距離上的慢。這個時候，我們就需要做異地部署，讓Web系統離用戶更近。

一、 核心集中與節點分散

有玩過大型網游的同學都會知道，網游是有很多個區的，一般都是按照地域來分，例如廣東專區，北京專區。如果一個在廣東的玩家，去北京專區玩，那么他會感覺明顯比在廣東專區卡。實際上，這些大區的名稱就已經說明了，它的服務器所在地，所以，廣東的玩家去連接地處北京的服務器，網絡當然會比較慢。

當一個系統和服務足夠大的時候，就必須開始考慮異地部署的問題了。讓你的服務，盡可能離用戶更近。我們前面已經提到了Web的靜態資源，可以存放在CDN上，然后通過DNS/GSLB的方式，讓靜態資源的分散“全國各地”。但是，CDN只解決的靜態資源的問題，沒有解決后端龐大的系統服務還只集中在某個固定城市的問題。

這個時候，異地部署就開始了。異地部署一般遵循：核心集中，節點分散。

·?核心集中：實際部署過程中，總有一部分的數據和服務存在不可部署多套，或者部署多套成本巨大。而對于這些服務和數據，就仍然維持一套，而部署地點選擇一個地域比較中心的地方，通過網絡內部專線來和各個節點通訊。

·?節點分散：將一些服務部署為多套，分布在各個城市節點，讓用戶請求盡可能選擇近的節點訪問服務。

例如，我們選擇在上海部署為核心節點，北京，深圳，武漢，上海為分散節點（上海自己本身也是一個分散節點）。我們的服務架構如圖：

需要補充一下的是，上圖中上海節點和核心節點是同處于一個機房的，其他分散節點各自獨立機房。?

國內有很多大型網游，都是大致遵循上述架構。它們會把數據量不大的用戶核心賬號等放在核心節點，而大部分的網游數據，例如裝備、任務等數據和服務放在地區節點里。當然，核心節點和地域節點之間，也有緩存機制。?

二、 節點容災和過載保護

節點容災是指，某個節點如果發生故障時，我們需要建立一個機制去保證服務仍然可用。毫無疑問，這里比較常見的容災方式，是切換到附近城市節點。假如系統的天津節點發生故障，那么我們就將網絡流量切換到附近的北京節點上。考慮到負載均衡，可能需要同時將流量切換到附近的幾個地域節點。另一方面，核心節點自身也是需要自己做好容災和備份的，核心節點一旦故障，就會影響全國服務。

過載保護，指的是一個節點已經達到最大容量，無法繼續接接受更多請求了，系統必須有一個保護的機制。一個服務已經滿負載，還繼續接受新的請求，結果很可能就是宕機，影響整個節點的服務，為了至少保障大部分用戶的正常使用，過載保護是必要的。

解決過載保護，一般2個方向：

·?拒絕服務，檢測到滿負載之后，就不再接受新的連接請求。例如網游登入中的排隊。

·?分流到其他節點。這種的話，系統實現更為復雜，又涉及到負載均衡的問題。

小結

Web系統會隨著訪問規模的增長，漸漸地從1臺服務器可以滿足需求，一直成長為“龐然大物”的大集群。而這個Web系統變大的過程，實際上就是我們解決問題的過程。在不同的階段，解決不同的問題，而新的問題又誕生在舊的解決方案之上。

系統的優化是沒有極限的，軟件和系統架構也一直在快速發展，新的方案解決了老的問題，同時也帶來新的挑戰。

PHP效率問題，上萬條數據一次性取出？還是分開取出處理？

顯示數據還是更新（update）數據，都是先處理一部分數據，完成后再處理下一步數據 更有效率。

顯示數據取出部分數據的方法最常用的是分頁方式，分頁是僅讀取前面的幾十頁信息，讀取數據庫是很快的，可以比較一下10條和100條的顯示速度，差很遠。

更新（update）數據也不能一次性處理大量數據，那樣經常會出現頁面死定的情況，可以設置更新一定數據后跳轉到下一步再更新一定數據，大多數cms更新數據都是采用這種方式。

無需顯示直接讀取表內所有數據生成HTML頁面時，不論是取出全部數據直接生成有效率，還是一次取出一部分，分別處理有效率。

如何利用php數組對百萬數據進行排重

如果你已經使用了一段時間PHP的話，那么，你應該已經對它的數組比較熟悉了——這種數據結構允許你在單個變量中存儲多個值，并且可以把它們作為一個集合進行操作。

經常，開發人員發現在PHP中使用這種數據結構對值或者數組元素進行排序非常有用。PHP提供了一些適合多種數組的排序函數，這些函數允許你在數組內部對元素進行排列，也允許用很多不同的方法對它們進行重新排序。在這篇文章中我們將討論該排序中最重要的幾個函數。

簡單排序

首先，讓我們來看看最簡單的情況：將一個數組元素從低到高進行簡單排序，這個函數既可以按數字大小排列也可以按字母順序排列。PHP的sort（）函數實現了這個功能，如Listing A所示：

Listing A

?php

? $data = array(5,8,1,7,2);

? sort($data);

? print_r($data);

? ?

輸出結果如下所示：

Array ([0] = 1

[1] = 2

[2] = 5

[3] = 7

[4] = 8

)

php+mysql 如何優化千萬級數據模糊查詢加快

關于mysql處理百萬級以上的數據時如何提高其查詢速度的方法

最近一段時間由于工作需要，開始關注針對Mysql數據庫的select查詢語句的相關優化方法。

由于在參與的實際項目中發現當mysql表的數據量達到百萬級時，普通SQL查詢效率呈直線下降，而且如果where中的查詢條件較多時，其查詢速度簡直無法容忍。曾經測試對一個包含400多萬條記錄（有索引）的表執行一條條件查詢，其查詢時間竟然高達40幾秒，相信這么高的查詢延時，任何用戶都會抓狂。因此如何提高sql語句查詢效率，顯得十分重要。以下是網上流傳比較廣泛的30種SQL查詢語句優化方法：

1、應盡量避免在 where 子句中使用!=或操作符，否則將引擎放棄使用索引而進行全表掃描。

2、對查詢進行優化，應盡量避免全表掃描，首先應考慮在 where 及 order by 涉及的列上建立索引。

3、應盡量避免在 where 子句中對字段進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：

select id from t where num is null

可以在num上設置默認值0，確保表中num列沒有null值，然后這樣查詢：

select id from t where num=0

4、盡量避免在 where 子句中使用 or 來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，如：

select id from t where num=10 or num=20

可以這樣查詢：

select id from t where num=10

union all

select id from t where num=20

5、下面的查詢也將導致全表掃描：(不能前置百分號)

select id from t where name like ‘%c%’

若要提高效率，可以考慮全文檢索。

6、in 和 not in 也要慎用，否則會導致全表掃描，如：

select id from t where num in(1,2,3)

對于連續的數值，能用 between 就不要用 in 了：

select id from t where num between 1 and 3

7、如果在 where 子句中使用參數，也會導致全表掃描。因為SQL只有在運行時才會解析局部變量，但優化程序不能將訪問計劃的選擇推遲到運行時；它必須在編譯時進行選擇。然 而，如果在編譯時建立訪問計劃，變量的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描：

select id from t where num=@num

可以改為強制查詢使用索引：

select id from t with(index(索引名)) where num=@num

8、應盡量避免在 where 子句中對字段進行表達式操作，這將導致引擎放棄使用索引而進行全表掃描。如：

select id from t where num/2=100

應改為:

select id from t where num=100*2

9、應盡量避免在where子句中對字段進行函數操作，這將導致引擎放棄使用索引而進行全表掃描。如：

select id from t where substring(name,1,3)=’abc’–name以abc開頭的id

select id from t where datediff(day,createdate,’2005-11-30′)=0–’2005-11-30′生成的id

應改為:

select id from t where name like ‘abc%’

select id from t where createdate=’2005-11-30′ and createdate’2005-12-1′

10、不要在 where 子句中的“=”左邊進行函數、算術運算或其他表達式運算，否則系統將可能無法正確使用索引。

11、在使用索引字段作為條件時，如果該索引是復合索引，那么必須使用到該索引中的第一個字段作為條件時才能保證系統使用該索引，否則該索引將不會被使 用，并且應盡可能的讓字段順序與索引順序相一致。

12、不要寫一些沒有意義的查詢，如需要生成一個空表結構：

select col1,col2 into #t from t where 1=0

這類代碼不會返回任何結果集，但是會消耗系統資源的，應改成這樣：

create table #t(…)

13、很多時候用 exists 代替 in 是一個好的選擇：

select num from a where num in(select num from b)

用下面的語句替換：

select num from a where exists(select 1 from b where num=a.num)

14、并不是所有索引對查詢都有效，SQL是根據表中數據來進行查詢優化的，當索引列有大量數據重復時，SQL查詢可能不會去利用索引，如一表中有字段 sex，male、female幾乎各一半，那么即使在sex上建了索引也對查詢效率起不了作用。

15、索引并不是越多越好，索引固然可以提高相應的 select 的效率，但同時也降低了 insert 及 update 的效率，因為 insert 或 update 時有可能會重建索引，所以怎樣建索引需要慎重考慮，視具體情況而定。一個表的索引數最好不要超過6個，若太多則應考慮一些不常使用到的列上建的索引是否有 必要。

16.應盡可能的避免更新 clustered 索引數據列，因為 clustered 索引數據列的順序就是表記錄的物理存儲順序，一旦該列值改變將導致整個表記錄的順序的調整，會耗費相當大的資源。若應用系統需要頻繁更新 clustered 索引數據列，那么需要考慮是否應將該索引建為 clustered 索引。

17、盡量使用數字型字段，若只含數值信息的字段盡量不要設計為字符型，這會降低查詢和連接的性能，并會增加存儲開銷。這是因為引擎在處理查詢和連接時會 逐個比較字符串中每一個字符，而對于數字型而言只需要比較一次就夠了。

18、盡可能的使用 varchar/nvarchar 代替 char/nchar ，因為首先變長字段存儲空間小，可以節省存儲空間，其次對于查詢來說，在一個相對較小的字段內搜索效率顯然要高些。

19、任何地方都不要使用 select * from t ，用具體的字段列表代替“*”，不要返回用不到的任何字段。

20、盡量使用表變量來代替臨時表。如果表變量包含大量數據，請注意索引非常有限（只有主鍵索引）。

21、避免頻繁創建和刪除臨時表，以減少系統表資源的消耗。

22、臨時表并不是不可使用，適當地使用它們可以使某些例程更有效，例如，當需要重復引用大型表或常用表中的某個數據集時。但是，對于一次性事件，最好使 用導出表。

23、在新建臨時表時，如果一次性插入數據量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果數據量不大，為了緩和系統表的資源，應先create table，然后insert。

24、如果使用到了臨時表，在存儲過程的最后務必將所有的臨時表顯式刪除，先 truncate table ，然后 drop table ，這樣可以避免系統表的較長時間鎖定。

25、盡量避免使用游標，因為游標的效率較差，如果游標操作的數據超過1萬行，那么就應該考慮改寫。

26、使用基于游標的方法或臨時表方法之前，應先尋找基于集的解決方案來解決問題，基于集的方法通常更有效。

27、與臨時表一樣，游標并不是不可使用。對小型數據集使用 FAST_FORWARD 游標通常要優于其他逐行處理方法，尤其是在必須引用幾個表才能獲得所需的數據時。在結果集中包括“合計”的例程通常要比使用游標執行的速度快。如果開發時 間允許，基于游標的方法和基于集的方法都可以嘗試一下，看哪一種方法的效果更好。

28、在所有的存儲過程和觸發器的開始處設置 SET NOCOUNT ON ，在結束時設置 SET NOCOUNT OFF 。無需在執行存儲過程和觸發器的每個語句后向客戶端發送 DONE_IN_PROC 消息。

29、盡量避免向客戶端返回大數據量，若數據量過大，應該考慮相應需求是否合理。

30、盡量避免大事務操作，提高系統并發能力。

網站標題：php百萬級數據處理經驗 php百萬級數據導出excel
標題URL：http://vcdvsql.cn/article32/ddsiosc.html

成都網站建設公司_創新互聯，為您提供響應式網站、靜態網站、域名注冊、外貿網站建設、網站內鏈、外貿建站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯