大數據量并發處理

大并發大數據量請求的處理方法
大并發大數據量請求一般會分為幾種情況：
1.大量的用戶同時對系統的不同功能頁面進行查找，更新操作
2.大量的用戶同時對系統的同一個頁面，同一個表的大數據量進行查詢操作
3.大量的用戶同時對系統的同一個頁面，同一個表進行更新操作

對于第一種情況一般處理方法如下：
一。對服務器層面的處理
1. 調整IIS 7應用程序池隊列長度
由原來的默認1000改為65535。
IIS Manager > ApplicationPools > Advanced Settings

Queue Length : 65535

2.  調整IIS 7的appConcurrentRequestLimit設置

由原來的默認5000改為100000。

c:\windows\system32\inetsrv\appcmd.exe set config /section:serverRuntime /appConcurrentRequestLimit:100000

在%systemroot%\System32\inetsrv\config\applicationHost.config中可以查看到該設置：
[html] view plaincopy

    <serverRuntime appConcurrentRequestLimit="100000" />   

[html] view plain copy

    <serverRuntime appConcurrentRequestLimit="100000" />   

3. 調整machine.config中的processModel>requestQueueLimit的設置

由原來的默認5000改為100000。
[html] view plaincopy

    <configuration>  
        <system.web>  
            <processModel requestQueueLimit="100000"/>   

[html] view plain copy

    <configuration>  
        <system.web>  
            <processModel requestQueueLimit="100000"/>   
4. 修改注冊表，調整IIS 7支持的同時TCPIP連接數
由原來的默認5000改為100000。
reg add HKLM\System\CurrentControlSet\Services\HTTP\Parameteris /v MaxConnections /t REG_DWORD /d 100000
完成上述4個設置，就基本可以支持10萬個同時請求。如果訪問量達到10萬以上，就可以考慮將程序和數據庫按功能模塊劃分部署到多個服務器分擔訪問壓力。另外可以考慮軟硬件負載均衡。硬件負載均衡能夠直接通過智能交換機實現，處理能力強，而且與系統無關，但是價格貴,配置困難，不能區分實習系統與應狀態。所以硬件負載均衡適用于一大堆設備，大訪問量，簡單應用。軟件負載均衡是基于系統與應用的，能過更好地根據系統與應用的狀況來分配負載。性價比高。PCL負載均衡軟件，Linux下的LVS軟件。
二。對數據庫層面的處理
      當兩個用戶同時訪問一個頁面，一個用戶可能更新的是另一個用戶已經刪除的記錄?；蛘?，在一個用戶加載頁面跟他點擊刪除按鈕之間的時間里，另一個用戶修改了這條記錄的內容。所以需要考慮數據庫鎖的問題
有下面三中并發控制策略可供選擇：
什么都不做 –如果并發用戶修改的是同一條記錄，讓最后提交的結果生效（默認的行為）
開放式并發（Optimistic Concurrency） - 假定并發沖突只是偶爾發生，絕大多數的時候并不會出現； 那么，當發生一個沖突時，僅僅簡單的告知用戶，他所作的更改不能保存，因為別的用戶已經修改了同一條記錄
保守式并發（Pessimistic Concurrency） – 假定并發沖突經常發生，并且用戶不能容忍被告知自己的修改不能保存是由于別人的并發行為；那么，當一個用戶開始編輯一條記錄，鎖定該記錄，從而防止其他用戶編輯或刪除該記錄，直到他完成并提交自己的更改
當多個用戶試圖同時修改數據時，需要建立控制機制來防止一個用戶的修改對同時操作的其他用戶所作的修改產生不利的影響。處理這種情況的系統叫做“并發控制”。
并發控制的類型
通常，管理數據庫中的并發有三種常見的方法：
    保守式并發控制 - 在從獲取記錄直到記錄在數據庫中更新的這段時間內，該行對用戶不可用。
    開放式并發控制 - 只有當實際更新數據時，該行才對其他用戶不可用。更新將在數據庫中檢查該行并確定是否進行了任何更改。如果試圖更新已更改的記錄，則將導致并發沖突。
    最后的更新生效 - 只有當實際更新數據時，該行才對其他用戶不可用。但是，不會將更新與初始記錄進行比較；而只是寫出記錄，這可能就改寫了自上次刷新記錄后其他用戶所進行的更改。
保守式并發
保守式并發通常用于兩個目的。第一，在某些情況下，存在對相同記錄的大量爭用。在數據上放置鎖所費的成本小于發生并發沖突時回滾更改所費的成本。
在事務過程中不宜更改記錄的情況下，保守式并發也非常有用。庫存應用程序便是一個很好的示例。假定有一個公司代表正在為一名潛在的客戶檢查庫存。您通常要鎖定記錄，直到生成訂單為止，這通常會將該項標記為“已訂購”狀態并將其從可用庫存中移除。如果未生成訂單，則將釋放該鎖，以便其他檢查庫存的用戶得到準確的可用庫存計數。
但是，在斷開的結構中無法進行保守式并發控制。連接打開的時間只夠讀取數據或更新數據，因此不能長時間地保持鎖。此外，長時間保留鎖的應用程序將無法進行伸縮。
開放式并發
在開放式并發中，只有在訪問數據庫時才設置并保持鎖。這些鎖將防止其他用戶在同一時間更新記錄。除了進行更新這一確切的時刻之外，數據始終可用。有關更多信息，請參見開放式并發。
當試圖更新時，已更改行的初始版本將與數據庫中的現有行進行比較。如果兩者不同，更新將失敗，并引發并發錯誤。這時，將由您使用所創建的業務邏輯來協調這兩行。
最后的更新生效
當使用“最后的更新生效”時，不會對初始數據進行檢查，而只是將更新寫入數據庫。很明顯，可能會發生以下情況：
    用戶 A 從數據庫獲取一項記錄。
    用戶 B 從數據庫獲取相同的記錄，對其進行修改，然后將更新后的記錄寫回數據庫。
    用戶 A 修改“舊”記錄并將其寫回數據庫。
在上述情況中，用戶 A 永遠也不會看到用戶 B 作出的更改。如果您計劃使用并發控制的“最后的更新生效”方法，則要確保這種情況是可以接受的。
ADO.NET 和 Visual Studio .NET 中的并發控制
因為數據結構基于斷開的數據，所以 ADO.NET 和 Visual Studio .NET 使用開放式并發。因此，您需要添加業務邏輯，以利用開放式并發解決問題。
如果您選擇使用開放式并發，則可以通過兩種常規的方法來確定是否已發生更改：版本方法（實際版本號或日期時間戳）和保存所有值方法。
版本號方法
在版本號方法中，要更新的記錄必須具有一個包含日期時間戳或版本號的列。當讀取該記錄時，日期時間戳或版本號將保存在客戶端。然后，將對該值進行部分更新。
處理并發的一種方法是僅當 WHERE 子句中的值與記錄上的值匹配時才進行更新。該方法的 SQL 表示形式為：
UPDATE Table1 SET Column1 = @newvalue1, Column2 = @newvalue2
WHERE DateTimeStamp = @origDateTimeStamp
或者，可以使用版本號進行比較：
UPDATE Table1 SET Column1 = @newvalue1, Column2 = @newvalue2
WHERE RowVersion = @origRowVersionValue
如果日期時間戳或版本號匹配，則表明數據存儲區中的記錄未被更改，并且可以安全地使用數據集中的新值對該記錄進行更新。如果不匹配，則將返回錯誤。您可以編寫代碼，在 Visual Studio .NET 中實現這種形式的并發檢查。您還必須編寫代碼來響應任何更新沖突。為了確保日期時間戳或版本號的準確性，您需要在表上設置觸發器，以便在發生對行的更改時，對日期時間戳或版本號進行更新。
保存所有值方法
使用日期時間戳或版本號的替代方法是在讀取記錄時獲取所有字段的副本。ADO.NET 中的 DataSet 對象維護每個修改記錄的兩個版本：初始版本（最初從數據源中讀取的版本）和修改版本（表示用戶更新）。當試圖將記錄寫回數據源時，數據行中的初始值將與數據源中的記錄進行比較。如果它們匹配，則表明數據庫記錄在被讀取后尚未經過更改。在這種情況下，數據集中已更改的值將成功地寫入數據庫。
對于數據適配器的四個命令（DELETE、INSERT、SELECT 和 UPDATE）來說，每個命令都有一個參數集合。每個命令都有用于初始值和當前值（或修改值）的參數。
對于第二種情況的處理：
因為是大并發請求，也能采用第一種情況的處理方法，另外因為是對大數據量進行檢索，所以需要考慮查詢效率的問題
1.對表按查詢條件建立索引
2.對查詢語句進行優化
3.可以考慮對查詢數據使用緩存
對于第三種情況的處理：
也能采用第一種情況的處理方法，另外因為是對同一個表進行更新操作，可以考慮使用下面的處理方法：
1.先將數據保存到緩存中，當數據達到一定的數量后，再更新到數據庫中
2.將表按索引劃分(分表，分區)，如：對于一個存儲全國人民信息的表，這個數據量是很大的，如果按省劃分為多個表，在將全國的人民信息按省存儲到相應的表中，然后根據省份對相應的并進行查詢和更新，這樣大并發和大數據量的問題就會減小很多