知識庫
上周有客戶反映,自己的國外服務器“傳視頻文件到服務器總是提示錯誤、不成功”!同樣是一個服務器傳輸問題,支持2000人同時在線的視頻服務器租用,面對同一設備,大量文件數據同時傳入服務器,出現錯誤,如何處理?在技術領域有個名詞叫做“技術債務”,指為了產品快速迭代,做了很多臨時性的代碼處理。
服務器壓力解決:http://www.bxgb88.com/dedicated/hk.html
但是在未來的某一天,這些遺留問題都會以BUG方式體現出來,導致付出更大的維護成本,通俗點說就是“出來混遲早都得還”。當大量設備連接服務器,大量數據上傳到服務器,服務器要如何提高處理能力,來處理這些數據,數據源為設備數據。
服務器處理數據可以從已下幾個方面考慮:
1、排隊列處理機制。數據涌入服務器,但還是能夠區分先后順序,按照數據傳輸時序將數據摘要排入隊列,然后服務器按隊列依次進行處理。
2、數據分類機制。數據分類和優先級處理一起使用,將數據按照不同的類型進行分類,例如,可以將設備狀態分為一類數據,將監控數據分為一類數據,將操作員正常操作設備數據分為一類,將操作員非法操作設備分為一類等,將不同的類型,按照其重要程度,放入不同的優先級隊列中,按照優先級隊列依次去處理。
3、數據分流機制。對數據進行分層,分流管理,多級服務器進行區分,例如可以按如下進行區分,設備-學校服務器-市級服務器-省級服務器-中央服務器,這樣分級分下來,每一層的數據同時訪問量并不是很大。
服務器從以上方面可以考慮,上位機設備也可以進行優化,做好數據定義,可以分擔服務器的壓力,可以從以下幾個方面來考慮。
①、閑時機制。上位機的數據非必要情況不采用實時數據傳輸,可以在本地儲存數據,等待閑時上傳。
②、分包機制。例如數據源做兩種情況拆分,一種為數據量小于1M的小數據,一種為數據量大于1M的大數據。對大數據進行切片分包,分包進行傳輸,此操作需要服務器進行相應的處理,實際上是服務器降低了大數據處理優先級。
③、摘要機制。對于大數據的傳輸,可以制定合適的摘要數據,在大數據傳輸之前,先傳輸其摘要,通過服務器對摘要的判定,抉擇該數據是否進行傳輸,從而提升其通信效率。
以客戶的項目為例,某一外貿網站,一天訪客數大約在10w左右,雙十一期間會達到30w左右,僅交易數據量在客流*20w的量級,在早晚高峰期會達到2/3的流量,在沒有采用分流的情況下,我們的服務器即使遇到海量數據和高并發情況,互聯數據服務器處理能力無壓力,不會出現阻塞!