Dropbox の境界ネットワーク

最新情報(2017 年 11 月 14 日)
Dropbox の境界ネットワークにマイアミ、シドニー、パリ、ミラノ、マドリードが加わりました。昨年の Magic Pocket の導入以降、Dropbox ではユーザー データの 90 % 以上を独自のカスタム インフラストラクチャ上で保管、運用し、世界中のユーザーの効率アップとパフォーマンス向上を実現してきました。
しかし、Dropbox ユーザーの約 75 % は米国以外を拠点としているため、カスタムビルドの自社データ センターへの移行は、これらのメリットを実現するための第一歩に過ぎませんでした。
Dropbox では、データ センターを拡張するとともに他のネットワークも迅速に拡充し、世界中の 5 億人を超えるユーザーに対して、サンフランシスコでもシンガポールでも一貫した信頼性を備えたサービスをお届けしています。そのために Dropbox は、3 大陸 7 か国、14 都市におよぶネットワークを構築しました。その際に、トランジット プロバイダ(地域の ISP やグローバル ISP)と数百社もの新しいピアリング パートナー(ISP を通さず、トラフィックを直接交換)を通じて、数百ギガビットのインターネット接続性を追加しました。さらにカスタムビルドの境界プロキシ アーキテクチャを自社ネットワークに組み込みました。境界プロキシとは、ユーザーの TLS および TCP ハンドシェイクの最初のゲートウェイとして機能するサーバー スタックであり、PoP(Points of Presence)に展開することで、世界中からアクセスするユーザーに対して Dropbox のパフォーマンスを向上します。その他の標準製品(CDN や他の「クラウド」製品)も検討しましたが、当社独自のニーズを満たすには、このカスタム ソリューションが最良の選択でした。ユーザーによっては同期速度が 300 倍にも上昇するなど、世界中でパフォーマンスが向上しました。

 
 

2014 年:当時の状況

2014 年当時、Dropbox のネットワークは米国にしかありませんでした。2 か所のデータ センター(東海岸と西海岸に 1 か所ずつ)にユーザーのデータすべてを保管し国内の主要 5 都市にネットワーク PoP を配置していたためトラフィックはそれらに集中していました。米国だけで世界中のユーザーへのサービスを賄っていたため、トランジット プロバイダに大きく依存している状況でした。また、国外ユーザーにとってはインターネット経由の高レイテンシのパスにより、パフォーマンスが限定されることも多々ありました。
各 PoP は、配備された施設の付近にあるインターネット エクスチェンジに接続されていたため、同じくそのエクスチェンジに接続された複数のエンド ユーザー ネットワークとピア接続することができました。当時、ピア接続していたネットワークの数は 100 程度に過ぎず、トラフィックは PoP 全体に不均一に広がっていたためピアリング リンクとトランジット リンクの両方で、PoP の間でトラフィックの出入りに大きな差がありました。トラフィック パターンがこのような状態であったため、エンド ユーザーに信頼できる包括的な接続性を保証し、障害発生時に一括して対応する窓口を確保するには、Tier-1 プロバイダのトランジットに頼るしかありませんでした。
境界ネットワークの容量は数百ギガビットであり、そのほぼすべてがトランジット プロバイダを使用していました。PoP の間でトラフィックをシフトすることが課題でした。

Dropbox ルーティング アーキテクチャ
2014 年当時、Dropbox では Border Gateway Protocol(BGP)を境界ネットワークで使用して、ネットワーク内のトランジット ピアおよびファブリック ピアと接続し、基幹ネットワーク内ではデータ センターとの接続に使用していました。
また、Dropbox ネットワーク内で BGP が必要とする NLRI(ネットワーク層到達性情報)を解決するため、下位プロトコルとして Open Shortest Path First(OSPF)を使用しました。
ルーティング ポリシーでは、トランジット ピアやファブリック ピアから取得されたプリフィックスだけでなく、ネットワーク内のプリフィックスにもタグ付けした拡張 BGP コミュニティを使用していました。Dropbox では、複数のパスが存在する場合に、プリフィックスの出口パスを選択するため、BGP プロトコル スイートでさまざまなパス属性も使用しています。

2014 年から 2015 年にかけて
Dropbox の境界ネットワークが発展した状況を示すアニメーション

2015 年:計画とクリーンアップの年

2015 年始めにDropbox はルーティング アーキテクチャを全面的に見直しました。その一環として OSPF から IS-IS に移行し、BGP コミュニティを変更し、MPLS-TE を実装して基幹ネットワークの活用方法を改善しました。MPLS-TE はネットワーク全体にわたるトラフィックの効率的な転送を実現するアルゴリズムであり、リンクの過剰使用や過少利用を避けることができます。この見直しにより、増加し続けるネットワーク PoP 間のトラフィック フローの動的な変化にネットワークがうまく対応できるようになりました。
これらの変更については、基幹ネットワークに関する今後のブログ記事で詳しく紹介する予定です。
2015 年中頃には、ユーザーに提供するサービス効率の向上、ラウンド トリップ時間の短縮、Dropbox からエンド ユーザーへの出口パスの最適化について検討を開始しました。
Dropbox は米国外でも事業を急速に拡大していたため、欧州市場に注目し、この地域のより多くのエンド ユーザー ネットワークとピアリングできる場所を重点的に探し始めました。主要なピアリング エクスチェンジに接続性を提供する 3 か所の PoP を欧州で選択し、北米と欧州でピアリングを行う境界ネットワークの拡充にも意欲的に取り組みました。Dropbox のピアリング ポリシーはオープンであり、Dropbox Peering Policy に情報が掲載されています。
2015 年末までには、パロアルト、ダラス、ニューヨークの 3 か所に新しい PoP を追加し、さらに数百ギガビットのトランジット容量が加わりました。また、ピア ネットワークの数と、ピア接続経由のトラフィック量を大幅に増やしました。まだ圧倒的にトランジット パートナーに依存している部分が大きかったとはいえ、ピア接続を地理的にも容量的にも拡大することで、ユーザー パフォーマンスを向上するより広範囲なトラフィック エンジニアリングを実装できるようになりました。これが新しい境界プロキシ設計の基礎となりました。

2016 年:拡大、最適化、ピアリングの年

2016 年からは、次の 3 つの主要領域に焦点を絞るようになりました。

  1. ユーザーにより近い場所でサービスを提供し、同期パフォーマンスの向上に取り組むため、欧州とアジアで新しい PoP を展開する
  2. PoP 間でより高速なネットワーク接続を可能にするカスタム アーキテクチャを設計し、構築する(新しい境界プロキシ スタック アーキテクチャ、新しいルーティング アーキテクチャ、標準化/最適化された IP トランジット アーキテクチャなど)
  3. ネットワーク内のピア接続を増やすため、新しいピアリング関係を構築する

欧州とアジア全体に拡大
トラフィック フローに関して収集したデータと、その他のさまざまな検討事項に基づいて、ロンドン、フランクフルト、アムステルダムに焦点を絞りました。これらの都市では、欧州全域の都市に対して最大数の参照用ネットワークが提供されています。欧州 3 都市の PoP は 2016 年に基幹ネットワーク経由のリング トポロジでスムーズに展開され、ニューヨークとアッシュバーンを米国でのエントリ ポートとして、Dropbox のネットワークに接続されました。
同時に、2016 年はアジアでのトラフィック量が増大したため、欧州と同様の取り組みに着手しました。2016 年第 3 四半期には、Dropbox の境界ネットワークをアジア全体に拡大することが決まり、東京、シンガポール、香港に PoP が展開されました。これらの拠点は、その地域のコンテンツ ネットワークとしてだけではなく、アジア太平洋地域内で Dropbox を使用する他のユーザー向け参照用ネットワークとして運用するために選択されました。

境界プロキシ スタック アーキテクチャ
PoP を配置した後は、ネットワークの転送速度を上げるための新しいアーキテクチャを構築しました。
境界プロキシ スタックはユーザー向けの SSL ターミネーションを処理し、Dropbox ネットワーク全体でバックエンド サーバーへの接続性を維持します。境界プロキシ スタックは IPVS マシンおよび NGINX マシンで構成されます。
プロキシ スタック アーキテクチャについては、今後のブログ記事で詳しく紹介する予定です。

Dropbox PoP アーキテクチャ

次世代ルーティング アーキテクチャ
プロキシ スタックを配置した後は、ルーティングに注目しました。Dropbox の本来の戦略は、各 PoP からパブリック プリフィックスをすべてアドバタイズすることでした。これは、フロントエンドがデータ センターに統合されていたときは理にかなっていました。プロキシ スタックが導入され、新しい PoP が展開された今では、非対称なルーティングや最適とは言えないルーティングを避けるため、この設計を変更する必要がありました。そうすれば、ユーザーに最も近い PoP からサービスを提供できるようになります。新しいルーティング ポリシーの設計に当たって検討した要素は次のとおりです。

  • ネットワーク リソースのより効率的な利用を進める
  • 予測可能性の高い障害シナリオを実現する
  • より正確な容量計画を可能にする
  • 運用の複雑さを最小限に抑える

新しい設計では、「メトロ」の概念を導入しました。この概念では、地域を個別のメトロに分割します。この設計は、Dropbox のトラフィック フローと要件に基づいて検証されました。メトロの背景にある考え方は次のとおりです。

  • メトロの近くにいるユーザーは、メトロ内の最寄りの PoP にルーティングされ他の PoP からはサービスを受けないため、レイテンシが減少し、ユーザー エクスペリエンスが向上します。
  • 一部のメトロには、冗長性の観点から複数の PoP を配置します。
  • メトロはそれ自体が障害ドメインであり、メトロ固有のプリフィックスをインターネットに回収することで、必要に応じてトラフィックをメトロから転換できます。
  • プリフィックスは地域/メトロ内に含まれ、その地域/メトロからインターネットにのみアドバタイズされます。
  • メトロ内とインターネットのどちらにルーティングするかの判断をより明白にします。

また、新しいメトロという考え方をサポートするため、BGP コミュニティも更新しました。プリフィックスにはその発生元のタグが付けられます。内部または外部で取得されたルートには、適切なルートタイプが割り当てられます。プリフィックスのアドバタイズは、そのルート範囲に基づいて、メトロ、地域、大陸、またはグローバルに制限(要約)されます。さらに、ルーターに対して内部的な意味を持つプリフィックスに適用できる一連のアクションを定義しました。タグを使用することで、その他の情報(コミュニティなど)を特別な処理のプリフィックスとともに含めることができます。

IP トランジット アーキテクチャの標準化と最適化
現在と比べると、2016 年中頃までは Dropbox のトランジット容量は不均一でバランスが取れていませんでした。各メトロの IP トランジット ポートの容量がバラバラだったため、あるメトロを空にしなければならないときも、容量制限が原因でトラフィックを必ずしも最寄りの PoP にルーティングできない場合がありました。この問題を解決するため、すべての PoP の IP トランジット容量を標準化し、各 PoP で十分な容量を確保しました。今では、PoP がダウンした場合や、ディザスター リカバリ テスト(DRT)を実施する必要がある場合に、メトロ間でトラフィックを移動するのに十分な容量があります。トランジット プロバイダから Dropbox に入るトラフィックのバランスも取れていませんでした。そこで、Tier-1 プロバイダと協力し、当社の ASN に入るトラフィックの不均衡を修正するさまざまな解決策を実装しました。
また、IP トランジットのための境界ルーティング ポリシーの設計も見直し、プリフィックスが ASN を出るときにトランジット プロバイダ間で最短の AS-PATH を使用するようにしました。複数の Tier-1 プロバイダ間で AS-PATH が同じである場合パス選択のための BGP 属性の 1 つ、Multi-Exit Discriminator (MED)を使用して優先経路が選択されます。

ピアリングの拡大
2016 年第 1 四半期まで、Dropbox のピアリングは比較的小規模であったため、トラフィックの大部分はトランジット プロバイダ経由でネットワークを出ていました。Dropbox では、各メトロの上位 ASN の背後にあるトランジット プロバイダの特定を開始し、NetFlow 経由でのデータ収集を始めました。第 2 四半期の中頃までに、ピアリングに関する検討を始められそうな ASN(参照用ネットワーク)のリストを作成し、2016 年末までに 30 % のトラフィックをピアリングにシフトすることで接続性を向上させ、ユーザーの近くでサービスを運用することに成功しました。世界中のユーザーが、Dropbox へのアクセス時に大幅なパフォーマンス向上を実感しました。

現在の境界ネットワーク
SSL ハンドシェイクをデータ センターに送信せずに PoP 経由で実行することで、接続時間が大幅に短縮され、転送速度が向上しました。この構成は欧州とアジアのさまざまな市場でテストされ、適用されています。たとえば、境界プロキシ サーバーの導入後、欧州の一部ユーザーの平均ダウンロード速度は 40 % 速く、平均アップロード速度は約 90 % 速くなりました。日本では、平均ダウンロード速度が 2 倍に、平均アップロード速度が 3 倍になりました。

下のグラフは、Dropbox の各 PoP に境界プロキシ スタックを展開した後の、欧州とアジア太平洋地域における TCP/SSL 接続の主な改善状況を示しています。各国の接続時間をグラフにしたものです(数値が下がるほど優れています)。

境界ネットワークのパフォーマンスを示すグラフ – アジアと欧米

欧州とアジアの複数の顧客からは、これらの PoP の開始後、Dropbox のパフォーマンスが大幅に向上したという声も届いています。下のグラフは、こうした顧客のうち、ある会社でのレイテンシの減少を示しています。

ある顧客のレイテンシの減少
2016 年末までに、欧州とアジアに 6 か所の PoP を新たに追加したことで、PoP は合計 14 か所となり、Dropbox の境界ネットワークの容量はテラビット規模に達しました。メトロ/地域のトラフィックの比率と、ネットワーク全体の標準化されたトランジット アーキテクチャに基づいて、トランジット、ファブリック、プライベート ピアに数百ギガバイトの容量が追加されました。さらに、ピアリング経由で 200 以上の独自 ASN が追加されました。現在、インターネット トラフィックの大部分はユーザーに最も近い最良の PoP から直接ピアリング経由で運ばれているためユーザーのパフォーマンス向上とネットワークの効率化が実現しています。

  • 0
  • 0
  • 0
  • 0

業界ごとの悩み別!!働き方を革新的に変える方法 21 個

本書ではフリーランス、中小企業・ベンチャー企業、建設業界、IT/メディア業界、教育機関などあらゆる業種でどのように Dropbox を活用して、さらに仕事効率を上げて、働き方を変えているのかを紹介します。

内容

  • フリーランスの活躍の場をひろげる、Dropbox Professional
  • 中小企業やベンチャーのビジネスを後押しする、Dropbox Business
  • 建設現場の働き方を変える、Dropbox Business
  • IT/メディア業界の働き方を変える、Dropbox Business
  • 高等教育機関の研究活動を変える、Dropbox Education
  • Dropbox Business をご活用いただければ、現場のコストを低減しながら、働き方を改善できます
  • Dropbox の特長

全 37 ページに貴重な情報が盛りだくさん!!
貴社またはあなたの仕事効率が飛躍的に向上し、さらに成果を生み出すお役に立てれば幸いです。
下の入力フォームに情報を入力して、今すぐダウンロードください。

Dropboxを活用してビジネスの効率を上げる為のコンテンツ