广东快乐10分走势图快|广东快乐10分走势图技巧
孫凱
聊聊如何設計千萬級吞吐量的.Net Core網絡通信!
來源:任達     發布時間: 2019-05-29      瀏覽次數:355

字號:

聊聊如何設計千萬級吞吐量的.Net Core網絡通信!

作者:大石頭時間:2018-10-26 晚上 20:00地點:QQ群-1600800內容:網絡通信,
    網絡庫使用方式網絡庫設計理念,高性能要點

介紹

首先看下面這張很具有代表性的圖,2018年5月份做的測試。當時單服務器得到 2256tps(Transactions Per Second,每秒事務數) 的吞吐率。這次測試只是說明一個問題,.Net可以做超高吞吐率的應用。

當時測試相關記錄和代碼地址記錄:https://www.cnblogs.com/nnhy/p/newlife_net_benchmark.html代碼國外地址:https://github.com/nnhy/NewLife.Net.Tests代碼國內地址:http://git.newlifex.com/Stone/NewLife.Net.Tests

1.1 開始網絡編程

簡單的網絡程序示例

相關使用介紹:https://www.cnblogs.com/nnhy/p/newlife_net_echo.html克隆上面的代碼,運行EchoTest項目,打開編譯的exe,打開兩次,一個選1作為服務器,一個選2作為客戶端在客戶端連接服務器和給服務端發送數據的時候,分別觸發StartOnReceive方法,連接之后服務端發送了Welcome 的消息,客戶端發送5次“你好”。服務端回傳收到的數據,打了一個日志,把收到的信息轉成字符串輸出到控制臺。NetServer是應用級網絡服務器,支持tcp/udp/ipv4/ipv6。上面可以看到,同時監聽了四個端口。碼神工具也可以連接上來

解釋

對于網絡會話來說,最關鍵的就是客戶端連上來,以及收到數據包,這兩部分,對應上面StartOnReceive兩個方法

服務端

上面是最小的網絡庫例程,簡單演示了服務端和客戶端,連接和收發信息。網絡應用分為NetServer/NetSession,服務端、會話,N個客戶端連接服務器,就會有N個會話。來一個客戶端連接,服務端就new一個新的NetSession,并執行Start,收到一個數據包,就執行OnReceive,連接斷開,就執行OnDispose,這便是服務端的全部。客戶端連接剛上來的時候,沒有數據包等其它信息,所以這個時候沒有參數。客戶端發數據包過來,OnReceive函數在處理。服務端的創建,可以是很簡單,看以下截圖。這里為了測試方便,開了很多Log,實際使用的時候,根據需要注釋。長連接、心跳第二節設計理念再講。

客戶端

跟很多網絡庫不同,NewLife.Net除了服務端,還封裝了客戶端。客戶端的核心,也就是Send函數和Received事件,同步發送,異步接收。因為是長連接,所以服務端隨時可以向客戶端發送數據包,客戶端也可以收到。tcp在不做設置的時候,默認長連接2小時。NetServer默認20分鐘,在沒有心跳的時候,20分鐘沒有數據包往來,服務端會干掉這個會話。雖然上面講的NetServer和Client,都是tcp,但是換成其它協議也是可以的。這里的NetServer和NetUri.CreateRemote,同時支持Tcp/Udp/IPv4/IPv6等,CreateRemote內部,就是根據地址的不同,去new不同的客戶端。所以我們寫的代碼,根本不在意用的是tcp還是udp,或者IPv6。有興趣的可以看看源碼

1.2 構建可靠網絡服務

相關博客要真正形成一個網絡服務,那得穩定可靠。上面例程EchoTest只是簡單演示,接下來看下一個例程EchoAgent。

安裝運行

這是一個標準的Windows服務,有了這個東西,我們就可以妥妥的注冊到Windows里面去。這也是目前我們大量數據分析程序的必備。首先運行EchoAgent,按2,安裝注冊服務,用管理員身份運行。安裝成功然后可以在服務里面找到剛剛安裝的服務。安裝完成可以在服務上找到,再次按2就是卸載,這個是XAgent提供的功能這時候按3,啟動服務

代碼解釋

接下來看代碼,服務啟動的時候,執行StartWork。在這個時候實例化并啟動NetServer,得到的效果就跟例程EchoTest一樣,區別是一個是控制臺一個是服務。停止服務時執行StopWork,我們可以在這里關閉NetServer。詳細請看源碼必須有這個東西,你的網絡服務程序,才有可能達到產品級。linux上直接控制臺,上nohup,當然還有很多其它辦法。以后希望這個XAgent能夠支持linux吧,這樣就一勞永逸了

1.3 壓測

相關博客只需要記住一個兩個數字,.net應用打出來2266萬tps,流量峰值4.5Gbps兩千萬吞吐量的數字,當然,只能看不能用。因為服務端只是剛才的Echo而已,并沒有帶什么業務。實際工作中,帶著業務和數據庫,能跑到10萬已經非常非常牛逼了。

我們工作中的服務可以跑到100萬,但是我不敢,怕它不小心就崩了。所以我們都是按照10萬的上限來設計,不夠就堆服務器好了,達到5萬以上后,穩定性更重要

網絡編程的坑

主要有粘包

程序員中會網絡編程的少,會解決粘包的更少!

1.4 網絡編程的坎——粘包

普遍情況,上萬的程序員,會寫網絡程序的不到20%,會解決粘包問題的不到1%,如果大家會寫網絡程序,并且能解決粘包,那么至少已經達到了網絡編程的中級水平。

什么是粘包

舉個栗子:客戶端連續發了5個包,服務端就收到了一個大包。代碼就不演示了,把第一個例程的這個睡眠去掉。客戶端連續發了5個包,服務端就收到了一個大包。

原因

很多人可能都聽說Tcp是流式協議,但是很少人去問,什么叫流式吧?流式,就是它把數據像管道一樣傳輸過去。剛才我們發了5個 “你好”,它負責把這10個字發到對方,至于發多少次,每次發幾個字,不用我們操心,tcp底層自己處理。tcp負責把數據一個不丟的按順序的發過去。所以,為了性能,它一般會把相近的數據包湊到一起發過去。對方收到一個大包,5個小包都粘在了一起,這就是最簡單的粘包。這個特性由NoDelay設置決定。NoDelay默認是false,需要自己設置。如果設置了,就不會等待。但是不要想得那么美好,因為對方可能合包。局域網MTU(Maximum Transmission Unit,最大傳輸單元)是1500,處于ip tcp 頭部等,大概1472多點的樣子。

更復雜的粘包及解決方法

A 1000 字節 B 也是 1000字節,對方可能收到兩個包,1400 + 600。對方可能收到兩個包,1400 + 600。凡是以特殊符號開頭或結尾來處理粘包的辦法,都會有這樣那樣的缺陷,最終是給自己挖坑。所以,tcp粘包,絕大部分解決方案,偏向于指定數據包長度。這其中大部分使用4字節長度,長度+數據。對方收到的時候,根據長度判斷后面數據足夠了沒有。這是粘包的處理代碼:http://git.newlifex.com/NewLife/X/Blob/master/NewLife.Core/Net/Handlers/MessageCodec.cs每次判斷長度,接收一個或多個包,如果接收不完,留下,存起來。等下一個包到來的時候,拼湊完整。雖然tcp確保數據不丟,但是難免我們自己失手,弄丟了一點點數據。為了避免禍害后面所有包,就需要進行特殊處理了。每個數據幀,自己把頭部長度和數據體湊一起發送啊,tcp確保順序。這里我們把超時時間設置為3~5秒,每次湊包,如果發現上次有殘留,并且超時了,那么就扔了它,省得禍害后面。根據以上,粘包的關鍵解決辦法,就是設定數據格式,可以看看我們的SRMP協議,1字節標識,1字節序號,2字節長度如果客戶端發送太頻繁,服務端tcp緩沖區阻塞,發送窗口會逐步縮小到0,不再接受客戶端數據。

1.5 .NetCore版RPC框架

NetCore版RPC框架NewLife.ApiServer。先看看這個效果

代碼分析

我們看這部分代碼,4次調用遠程函數,成功獲取結果,包括二進制高速調用、返回復雜對象、捕獲遠程異常,沒錯,這就是一個RPC。

服務端

有沒有發現,這個ApiServer跟前面的NetServer有點像?其實ApiServer內部就有一個NetServer這么些行代碼,就幾個地方有價值,一個是注冊了兩個控制器。你可以直接理解為Mvc的控制器,只不過我們沒有路由管理系統,直接手工注冊。第二個是指定編碼器為Json,用Json傳輸參數和返回值。其實內部默認就是Json,可以不用指定看看我們的控制器,特別像Mvc,只不過這里的Controller沒有基類,各個Action返回值不是ActionResult,是的,ApiServer就是一個按照Mvc風格設置的RPC框架返回復雜對象做請求預處理,甚至攔截異常像下面這樣寫RPC服務,然后把它注冊到ApiServer上,客戶端就可以在1234端口上請求這些接口服務啦

客戶端

客戶端是ApiClient,這里的MyClient繼承自ApiClient這些就是我們剛才客戶端遠程調用的stub代碼啦,當然,我們沒有自動生成stub,也沒有要求客戶端跟服務端共用接口之類。實際上,我們認為完全沒有必要做接口約束,大部分項目的服務接口很少,并且要求靈活多變stub就是類似于,剛才那個MyController實現IAbc接口,然后客戶端根據服務端元數據自動在內存里面生成一個stub類并編譯,這個類實現了IAbc接口。客戶端直接操作接口,還以為在調用服務端 的函數呢其實stub代碼內部,就是封裝了 這里的InvokeAsync這些代碼,等同于自動生成這些代碼,包括gRPC、Thrift等都是這么干的

框架解析

這個RPC框架,封包協議就是剛才的SRMP,負載數據也就是協議是json當需要高速傳輸的時候,參數用Byte[],它就會直接傳輸,不經json序列化,這是多年經驗得到的靈活性與性能的最佳結合點

2.1 人人都有一個自己的高性能網絡庫

網絡庫核心代碼:http://git.newlifex.com/NewLife/X/Tree/master/NewLife.Core/Net我們一開始就是讓Tcp/Udp可以混合使用,網絡庫設計于2005年,應該要比現如今絕大部分網絡框架要老。服務端清一色采用 Server+Session 的方式。網絡庫的幾個精髓文件其中比較重要的一個,里面實現了 Open/Close/Send/Receive 系列封裝,Tcp/Udp略有不同,重載就好了。打開關閉比較簡單,就不講了所有對象,不管客戶端服務端,都實現ISocket。然后客戶端Client,服務端Server+Session。tcp+udp同時支持并不難,因為它們都基于Socket。目前無狀態無會話的通信架構,做不到高性能。我們就是依靠長連接以及合并小包,實現超高吞吐量一般靈活性和高性能都是互相矛盾的

2.2 高性能設計要點

第一要點:同步發送,因為要做發送隊列、拆分、合并,等等,異步發送大大增加了復雜度。大家如果將來遇到詭異的40ms延遲,非常可能就是tcp的nodelay作怪,可以設為true解決第二要點:IOCP,高吞吐率的服務端,一定是異步接收,而不是多線程同步。當然,可以指定若干個線程去select,也就是Linux里面常見的poll,那個不在這里討論,Windows極少人這么干,大量資料表明,iocp更厲害。SAEA是.net/.netcore當下最流行的網絡架構,我們可以通俗理解為,把這個緩沖區送給操作系統內核,待會有數據到來的時候,直接放在里面,這樣子就減少了一次內核態到用戶態的拷貝過程。我們測試4.5Gbps,除以8,大概是 540M字節,這個拷貝成本極高第三要點:零拷貝ZeroCopy,這也是netty的核心優勢。iocp是為了減少內核態到用戶態的拷貝,zerocopy進一步把這個數據交給用戶層,不用拷貝了。數據處理,我們采用了鏈式管道,這些都是管道的編碼器第四要點:合并小包,NoDelay=false,允許tcp合并小包,MTU=1500,除了頭部,一般是1472第五要點:二進制序列化,消息報文盡可能短小,每個包1k,對于100Mbps,也就12M,理論上最多12000包,所以大量Json協議或者字符串協議,吞吐量都在1萬上下SRMP頭部4字節,ApiServer的消息報文,一般二三十個字節,甚至十幾個字節第五要點:批量操作User FindByID(int id); User[] FindByIDs(int[] ids);

最后

整理不全,大家湊合著看。中途錄屏,語音啥的還掉了,準備得不是很好,下周再來一次吧,選Redis

  • 相關內容:
广东快乐10分走势图快 生肖时时彩 广西11选5开奖结呆 甘肃十一选5历史遗漏 广西快乐十分每天开奖结果 云南十一选五前三组遗漏 排列5技巧 网上炸金花赢钱的游戏 吉林快3走势图 真钱提现诈金花下载 体彩p3