隨著企業(yè)海外業(yè)務的擴大，尤其在電商、直播、游戲等場景，企業(yè)都面臨著海內(nèi)外數(shù)據(jù)傳輸?shù)男枨�，海�?nèi)外數(shù)據(jù)傳輸也是用戶經(jīng)常咨詢的問題，本⽂針對常見的海內(nèi)外數(shù)據(jù)傳輸場景的⽅案進行介紹，讓⽤戶在進行選擇的時候有正確的思路。

文章根據(jù)不同的傳輸場景和需求進行了細分，給出了不同的方案建議。需要說明的是，方案的具體細節(jié)實現(xiàn)不在本文中闡述，如需了解方案的細節(jié)，請向解決方案架構師咨詢。

注：此篇文章僅適用于數(shù)據(jù)傳輸場景(one to one)，對于加速中國用戶訪問海外服務器或者加速海外⽤戶訪問中國服務器的需求(one to many)，會在另⼀篇文章”AWS中國和海外網(wǎng)絡加速方案“中描述。

⼀.場景說明: 批量傳輸vs實時傳輸

1. 批量傳輸(文件傳輸)

用戶經(jīng)常會有批量傳輸文件的需求，比如把幾十G的DB備份從國內(nèi)本地服務器傳到美國EC2上，或者把幾百G的圖片或者視頻文件從本地服務器傳到歐洲的S3上，或者將公司的所有日志等備份文件傳輸?shù)絻r格較為便宜的Region進行存檔等。本文討論的大多數(shù)情況也是這類的文件批量傳輸。

2. 實時傳輸(例如接⼝調(diào)⽤/數(shù)據(jù)同步)

⽤戶如果在海內(nèi)外都有服務，通常會產(chǎn)生接口調(diào)⽤以及數(shù)據(jù)同步的需求。例如，國內(nèi)的某個服務需要把⼀些數(shù)據(jù)寫到海外的某個消息隊列中，又比如海外的某個數(shù)據(jù)庫需要把數(shù)據(jù)實時的傳遞到國內(nèi)的數(shù)據(jù)庫，以便國內(nèi)的部⻔對匯總的數(shù)據(jù)進行處理或者分析。

如接口調(diào)用/數(shù)據(jù)同步之類的實時傳輸通常對時延以及網(wǎng)絡的穩(wěn)定性要求比較高。我們在這⾥不去討論如何進行接⼝調(diào)用或者進行數(shù)據(jù)同步，而是重點介紹了網(wǎng)絡如何進行優(yōu)化， 這些優(yōu)化方案都寫在了附錄中，供用戶根據(jù)自己的實際情況選擇適用。

對于⽤戶提出的數(shù)據(jù)庫同步問題，需要判斷更合適的⽅式是否是在國內(nèi)外各部署⼀套系統(tǒng)并分別訪問本地數(shù)據(jù)庫。如果用戶的場景確實需要進⾏數(shù)據(jù)同步，再參考附錄，選擇合適的優(yōu)化⽹絡。

⼆.批量傳輸具體方案

我們把⽂件傳輸分成以下幾個子類進行討論。服務器和服務器之間的⽂件傳輸。這⾥所說的服務器是指EC2或者本地數(shù)據(jù)中心以及其他云⼚商的服務器。服務器和S3之間的⽂件傳輸。這⾥所說的服務器是指EC2或者本地數(shù)據(jù)中心以及其他云⼚商的服務器。 海內(nèi)外S3與S3之間的文件傳輸。 其他云⼚商對象存儲向S3進行文件傳輸。

1. 服務器和服務器之間的⽂件傳輸

（1）您可以直接利⽤最適用您的傳輸方法進⾏傳輸， 不進⾏任何優(yōu)化，例如SCP或者FTP。 這通常適⽤于少量數(shù)據(jù)的傳輸，且對傳輸?shù)臅r效沒有什么要求。但如果想達到更好的效果，可以對⽹絡進⾏優(yōu)化，網(wǎng)絡的優(yōu)化方式參考 “附件1 ⽹絡優(yōu)化說明”

（2）利⽤⼀些開源文件傳輸工具。例如使⽤Tsunami-udp這個開源⼯具, 這個⼯具使⽤UDP進⾏傳輸，通過TCP進行控制，大大加速了海內(nèi)外數(shù)據(jù)之間 的傳輸?shù)乃俣�，�?#12132;方法可以參考官⽅博客：https://aws.amazon.com/cn/blogs/big-data/moving-big-data-into-the-cloud-with-tsunami-udp/ （注意：此博客中⽤于啟動安裝了Tsunami-udp的EC2的cloudformation模板已失效，關于在EC2上安裝Tsunami-udp可以參考Tsunami-udp官⽅⽂ 檔：http://tsunami-udp.sourceforge.net/ ）

（3）利⽤⼀些商業(yè)產(chǎn)品級的文件傳輸⼯具�？梢耘c解決方案架構師或者BD聯(lián)系，選擇合適的合作伙伴。例如，鐳速是⼀個大文件⾼速傳輸軟件，提供了跨境云存儲文件傳輸管理平臺，⽀持公有云企業(yè)網(wǎng)盤、私有化部署方案以及定制化部署⽅案，具體可參考官網(wǎng)：https://www.raysync.cn/ 。還有CatonNet可以通過互聯(lián)⽹提供國內(nèi)和國際視頻傳輸服務，也為⼤型文件和⾼帶寬數(shù)據(jù)傳輸提供解決方案，具體可參考官⽹： http://catontechnology.com/ 無論是直接使⽤熟悉的傳輸⽅法進⾏傳輸，還是利⽤⼀些文件傳輸工具，都可以對網(wǎng)絡進行優(yōu)化，網(wǎng)絡的優(yōu)化⽅式參考附錄。但需要說明的是，由于⼤量數(shù)據(jù)在較短時間內(nèi)進⾏傳輸通常需要⽐較⼤的⽹絡帶寬，從而帶來額外的費⽤，因此， 如果能利⽤⼯具完成完成文件傳輸優(yōu)化的話，建議盡量使⽤⼯具完成，除非優(yōu)化的⽹絡是免費使⽤。

2. 服務器和S3之間的⽂件傳輸

為了簡化問題，這⾥的服務器是指單臺服務器，不是指服務器集群。

（1）. 利⽤S3原⽣的SDK或者CLI（ s3 sync命令），適合少量數(shù)據(jù)或者對時效性沒有要求的大文件傳輸。 建議同時開啟TCP BBR（Bottleneck Bandwidth and RTT），可進⼀步大幅度提升上傳速度。BBR開啟⽅法：https://aws.amazon.com/cn/amazon-linux-ami/2017.09-releasenotes/

（2）. 如果是少量大文件的傳輸，建議啟動S3分段上傳（AWS CLI默認情況下已經(jīng)啟⽤了分片上傳功能，默認8MB⼀個塊，可以通過設置aws cli配置⽂件進⼀步調(diào)節(jié))。

（3）. 如果是⼤量大文件的傳輸，可以使⽤AWS官⽅工具“S3多線程斷點續(xù)傳⼯具”。該⼯具通過多線程并發(fā)上傳，充分利用網(wǎng)絡帶寬，并且支持超時重試 以及多級⽬錄拷貝，具體參考：https://github.com/aws-samples/amazon-s3-resumable-upload

如果有穩(wěn)定長期的大量文件傳輸，服務器到S3之間的數(shù)據(jù)傳輸可以利⽤DX專線進行加速。

由于服務器和S3之間的文件傳輸也可以轉變?yōu)榉�務器傳輸至對端EC2 + 對端EC2傳到S3，這⾥⾯“服務器傳輸至對端EC2”部分（包括⽹絡優(yōu)化）可參考 “1.服務器與服務器之間的⽂件傳輸” 的內(nèi)容。

另外，如果數(shù)據(jù)量巨大，不管是大量的小文件，少量大文件, 以及⼤量大文件，都會超出單機并行傳輸能⼒范圍， 這種情況下，建議將這些⽂件先存儲在S3，再利⽤集群進⾏傳輸。具體參考 “3. S3和S3之間的⽂件傳輸“ 中的集群傳輸方式。

3. S3和S3之間的⽂件傳輸

由于我們這里討論的是國內(nèi)與海外之間的數(shù)據(jù)傳輸，國內(nèi)和海外AWS之間是兩套帳號體系，因此不像海外各個區(qū)域之間那樣可以使⽤S3的跨區(qū)域傳輸功能。而是需要數(shù)據(jù)在服務器上中轉⼀下，有以下⼏類⽅案:

（1）. 如果是⼀次傳遞少量數(shù)據(jù)的實時同步場景，可以通過⼀個 Lambda 函數(shù)來實現(xiàn)海內(nèi)外的 S3的傳輸。S3 有通知功能，每當有對象創(chuàng)建或者刪除時，發(fā)送通知觸發(fā) Lambda，復制 S3 對象到其他區(qū)域。具體實現(xiàn)上，Lambda可下載 S3 對象到本地/tmp⽬錄，然后上傳到對端S3。

（2）. 如果是少量數(shù)據(jù)傳遞， 或者對時效性沒有⾼要求的⼤量數(shù)據(jù)傳遞。 可以先把本端S3的數(shù)據(jù)下載到EC2, 再從EC2 copy到對端S3。

（3）. 如果是對⼤量⽂件（大量小文件，少量大文件，⼤量大文件）的批量傳輸，并且有時效性要求的。建議使⽤集群對數(shù)據(jù)進⾏傳遞，集群中的每個計算單元(虛擬機，容器，或者函數(shù)等)負責⼀部分數(shù)據(jù)的傳遞，⼤量的計算單元并⾏⼯作。以下是兩個例⼦，具體的實施，請與AWS的技術⼈員進⾏更深⼊的討論。

a. 使⽤分布式Lambda⾃動同步S3文件： https://aws.amazon.com/cn/blogs/china/lambda-overseas-china-s3-file/

b. 利⽤Lambda計算源s3桶中需要傳輸?shù)臄?shù)據(jù)分片信息，并將計算結果存放⾄消息隊列。利⽤s3分片傳輸功能將對象分片下載⾄ecs并上傳至⽬標s3桶，直至當前對象的所有分⽚均上傳成功，而后觸發(fā)合并分片文件的lambda，完成合并。具體參考： https://github.com/yuan00yuan/index/blob/master/content/Migration/s3_transmission.md

c. 如果是⼤量大文件的傳輸，可以使⽤官方⼯具“S3多線程斷點續(xù)傳⼯具”。該⼯具通過多線程并發(fā)上傳，充分利用⽹絡帶寬，并且⽀持超時重 試以及多級⽬錄拷貝，具體參考：https://github.com/aws-samples/amazon-s3-resumable-upload 由于S3和S3之間的⽂件傳輸可以轉變?yōu)镾3傳到本端EC2 + 本端EC2上傳⾄對端EC2 + 對端EC2傳⾄對端S3，因此這⾥“本端EC2傳⾄對端EC2”（包 括網(wǎng)絡優(yōu)化）參考以上 “1.服務器與服務器之間的⽂件傳輸” 的內(nèi)容。

4. 其他云廠商對象存儲向S3進行文件傳輸

（1）. 其他云⼚商可能并未提供直接將⽂件傳送到AWS S3的接⼝，但⼀般都提供了命令⾏或者SDK的⽅式訪問對象存儲的文件。因此我們可以將云廠商 對象存儲上的文件下載到本地，然后參考 “2.2 服務器和S3之間的文件傳輸” 通過上述服務器和S3之間文件傳輸?shù)姆绞綄��?shù)據(jù)傳送到S3。這種⽅式適合少量數(shù)據(jù)的傳輸。

a. 以阿里云為例，可以使⽤阿里云OSS CLI將⽂件下載到⼀臺服務器，然后使用AWS CLI再傳到S3，示例代碼：

i. 從OSS到本地：./ossutil cp -r oss://aliyun-oss-old/ temp-data/ —update

ii. 從本地到S3： aws s3 sync temp-data/ s3://aws-s3-new/ —delete

（2）. 如果是海量數(shù)據(jù)的傳輸，我們?nèi)钥梢允?#12132;集群的⽅式實現(xiàn)并⾏傳輸， 思路與本鏈接中的⽅案類似： https://github.com/yuan00yuan/index/blob/master/content/Migration/s3_transmission.md 但由于數(shù)據(jù)源不是AWS, 并且數(shù)據(jù)來源多種多樣，建 議在遇到此類問題時, 與AWS解決⽅案架構師逐Case的討論解決⽅案。

（3）. 如果是從阿里OSS遷移到S3，可以使⽤官方工具“S3多線程斷點續(xù)傳⼯具”。該⼯具通過多線程并發(fā)上傳，充分利用網(wǎng)絡帶寬，并且支持超時重試 以及多級⽬錄拷貝，具體參考：https://github.com/aws-samples/amazon-s3-resumable-upload

三.如何選擇最優(yōu)方案

從前⽂的描述可以看出，海內(nèi)外數(shù)據(jù)傳輸是⼀個很⼤的話題，根據(jù)不同的傳輸場景、所需要達成的效果、和愿意付出的成本會有不同的方案，建議從以下⼏點去考慮，再進行方案的選擇。方案由兩方面構成，⼀是傳輸?shù)姆椒ê凸ぞ撸?#12038;是網(wǎng)絡鏈路的選擇。

第⼀，需明確數(shù)據(jù)傳輸?shù)膱鼍邦愋�。參�?【場景說明】中判斷用戶場景是屬于批量傳輸（⽂件傳輸）還是兩個系統(tǒng)間的實時傳輸（比如接⼝調(diào)⽤/ 數(shù)據(jù)同步）。實時傳輸場景不在本⽂的討論范圍內(nèi)，但可參考 【場景說明】中的“2.實時傳輸”給出指導性建議；如果⽤戶場景是批量文件傳輸，則進⼀步往下分析。

第⼆，對于批量文件傳輸, 明確傳輸?shù)脑春?#12140;的地。參考【批量傳輸具體⽅案】給不同源和⽬的地的傳輸場景確定具體方案（主要是傳輸⼯具的不 同）。

第三，選擇網(wǎng)絡優(yōu)化方案。根據(jù)用戶對于此次數(shù)據(jù)傳輸?shù)姆�(wěn)定要求和時延要求以及想花的時間成本和資金成本，具體網(wǎng)絡優(yōu)化說明參考附錄1。

附錄

網(wǎng)絡優(yōu)化說明 海內(nèi)外數(shù)據(jù)傳輸，都涉及到網(wǎng)絡問題，如果對網(wǎng)絡的穩(wěn)定性, 帶寬, 時延等有要求，可以對網(wǎng)絡進行優(yōu)化，主要有優(yōu)化鏈路、專線和SDWAN三種優(yōu)化方式，網(wǎng)絡效果和適⽤場景具體參考以下說明。

1. 默認網(wǎng)絡:

走公網(wǎng)這種方式受網(wǎng)環(huán)境影響很⼤，不僅與AWS網(wǎng)絡有關，也與出海鏈路網(wǎng)絡情況、海內(nèi)外各運營商網(wǎng)絡情況、用戶本地網(wǎng)絡情況等因素有關。建議⽤戶自行觀察測試網(wǎng)絡波動情況，選擇出海網(wǎng)絡低峰期傳輸數(shù)據(jù)。

總體效果：傳輸完全取決于 Internet 情況，速度建議⽤戶實測，且中間隔了 GFW，不穩(wěn)定。 適用場景：One Time 的數(shù)據(jù)同步；或者每次同步數(shù)據(jù)量不⼤的情況; ⽤戶不愿意做任何額外的網(wǎng)絡投資。

優(yōu)化方法：服務器開啟 BBR。

2.網(wǎng)絡優(yōu)化⼀: 優(yōu)化鏈路

優(yōu)化鏈路說明：在AWS China EC2和部分AWS Global region EC2（北美各region、法蘭克福、東京、新加坡）之前有運營商優(yōu)化鏈路，在優(yōu)化鏈路內(nèi)可以減少網(wǎng)絡擁堵和請求跳數(shù)。但是鏈路優(yōu)化使用效果同樣受到當前使⽤情況和網(wǎng)絡環(huán)境的影響，建議用戶實際測試來看是否能滿⾜他們需求。 再回到數(shù)據(jù)傳輸問題，也就是說在AWS China Region EC2和有優(yōu)化鏈路的AWS Global Region EC2之間傳輸數(shù)據(jù)可以⾛優(yōu)化鏈路，這個階段的網(wǎng)絡情況 ⼀般情況下會⽐單純的公網(wǎng)傳輸較快也更為穩(wěn)定。

Tags: Quip2Wiki

另外：如果海外所在region沒有優(yōu)化鏈路，也可上傳⾄離它較近有優(yōu)化鏈路的region的EC2中，再通過海外region之間的⻣⼲網(wǎng)絡傳到另⼀個 region的EC2中。

總體效果：用戶可以直接免費使用，因此沒有 SLA，傳輸速度完全取決于⽤戶傳輸時，這條優(yōu)化鏈路實際的網(wǎng)絡擁堵狀況。數(shù)值建議⽤戶實測。但是通常這種情況會⽐直接公⽹傳輸要快很多，是值得嘗試的。

適用場景：One Time 的數(shù)據(jù)同步，或者每次同步數(shù)據(jù)量不⼤的情況（如 GB 或以下）。費⽤上多了 EC2 On-demand Running & Data transfer費⽤。

優(yōu)化方法：服務器開啟 BBR；EC2推薦網(wǎng)絡性能較好的機型（比如C5.large），否則影響傳輸速度。

3.網(wǎng)絡優(yōu)化二：走專線

專線 Direct Connect，簡稱為DX。跨海內(nèi)外拉專線，可以聯(lián)系三大運營商或者partner。通過購買運營商或者partner的專線，可以實現(xiàn)北京/寧夏Region到Global Region的加速訪問，而AWS Global各個region之間的傳輸就可以走AWS骨干網(wǎng)絡。

總體效果：獨占，穩(wěn)定，快速。但需要⽤戶投資比較大的時間&成本。

適用場景：頻繁，大量且長期的數(shù)據(jù)同步情況；對于低延遲實時性同步有較高要求的用戶。

專線選擇：

專線的位置選擇：有兩種可選，⼀種是直接從AWS China拉到海外本地機房或者AWS region，另外⼀種是從AWS China拉專線到就近的 區(qū)域，例如: ⾹港，新加坡或者東京等，然后剩下的線路走AWS全球骨干網(wǎng), 這會利用到AWS的Direct Connect gateway。因海內(nèi)外的傳輸瓶頸很大程度上在于GFW 以及國內(nèi) region 的獨立，沒有和海外的骨干網(wǎng)相連，因此后者也可以很大程度的解決傳輸問題�？蒳nvolve partner咨詢兩種方式具體報價，帶寬和SLA，讓用戶選擇。

專線類型選擇：⼀種是用戶dedicate的專線，有1Gbps和10Gbps兩種帶寬可以選擇；另外⼀種是NNI專線，是 partner 提供的，帶寬選擇⽐較豐富。

4.網(wǎng)絡優(yōu)化三：SDWAN

租用 partner 已經(jīng)搭建好的全球網(wǎng)絡基建，去做⽹絡加速。注意，這里的全球網(wǎng)絡基建底層實現(xiàn)不⼀定是專線，也有可能是不同網(wǎng)絡方案的結合。并且不同的partner有不同的方案，有partner的edge點到AWS Region（包括China Region和Global Region），這種情況⼀般partner會放⼀個加速設備在⽤戶的數(shù)據(jù)中心，也有從AWS China Region到AWS Global Region的，比如網(wǎng)宿和中國移動。有關于具體的方案，合同，報價，和周期需要 involve 具體的 partner。

總體效果：相比Internet來說，可以極⼤降低丟包率，但是網(wǎng)絡延遲則不⼀定有改善（受物理距離及提供商Pop點影響），需要實際測試，⼀般可以 有效降低訪問HK及東南亞區(qū)域的延遲；租用時間有極大的靈活性；交付時間快（設備到貨1-2天就能交付），比起專線來，工期有很⼤程度的縮短。

適⽤場景：短期的數(shù)據(jù)傳輸，租用起來比較方便；有⼀定的經(jīng)費但不⾜以拉專線；項⽬著急，需要盡快使⽤等。

來源：亞馬遜云科技

天下數(shù)據(jù)專業(yè)的海外IDC服務商，致力于為企業(yè)提供企業(yè)組網(wǎng)（SD-WAN、MPLS、云互聯(lián)），業(yè)務云化、數(shù)據(jù)中心、網(wǎng)絡安全、行業(yè)IT解決方案等相關服務。詳詢客服電話400-638-8808 官網(wǎng)：m.51huadong.com。

本文鏈接：http://m.51huadong.com/cloundnews/11007239.html