Dropbox の境界ネットワーク

最新情報（2017 年 11 月 14 日）
Dropbox の境界ネットワークにマイアミ、シドニー、パリ、ミラノ、マドリードが加わりました。昨年の Magic Pocket の導入以降、Dropbox ではユーザーデータの 90 % 以上を独自のカスタムインフラストラクチャ上で保管、運用し、世界中のユーザーの効率アップとパフォーマンス向上を実現してきました。
しかし、Dropbox ユーザーの約 75 % は米国以外を拠点としているため、カスタムビルドの自社データセンターへの移行は、これらのメリットを実現するための第一歩に過ぎませんでした。
Dropbox では、データセンターを拡張するとともに他のネットワークも迅速に拡充し、世界中の 5 億人を超えるユーザーに対して、サンフランシスコでもシンガポールでも一貫した信頼性を備えたサービスをお届けしています。そのために Dropbox は、3 大陸 7 か国、14 都市におよぶネットワークを構築しました。その際に、トランジットプロバイダ（地域の ISP やグローバル ISP）と数百社もの新しいピアリングパートナー（ISP を通さず、トラフィックを直接交換）を通じて、数百ギガビットのインターネット接続性を追加しました。さらにカスタムビルドの境界プロキシアーキテクチャを自社ネットワークに組み込みました。境界プロキシとは、ユーザーの TLS および TCP ハンドシェイクの最初のゲートウェイとして機能するサーバースタックであり、PoP（Points of Presence）に展開することで、世界中からアクセスするユーザーに対して Dropbox のパフォーマンスを向上します。その他の標準製品（CDN や他の「クラウド」製品）も検討しましたが、当社独自のニーズを満たすには、このカスタムソリューションが最良の選択でした。ユーザーによっては同期速度が 300 倍にも上昇するなど、世界中でパフォーマンスが向上しました。

2014 年：当時の状況

2014 年当時、Dropbox のネットワークは米国にしかありませんでした。2 か所のデータセンター（東海岸と西海岸に 1 か所ずつ）にユーザーのデータすべてを保管し国内の主要 5 都市にネットワーク PoP を配置していたためトラフィックはそれらに集中していました。米国だけで世界中のユーザーへのサービスを賄っていたため、トランジットプロバイダに大きく依存している状況でした。また、国外ユーザーにとってはインターネット経由の高レイテンシのパスにより、パフォーマンスが限定されることも多々ありました。
各 PoP は、配備された施設の付近にあるインターネットエクスチェンジに接続されていたため、同じくそのエクスチェンジに接続された複数のエンドユーザーネットワークとピア接続することができました。当時、ピア接続していたネットワークの数は 100 程度に過ぎず、トラフィックは PoP 全体に不均一に広がっていたためピアリングリンクとトランジットリンクの両方で、PoP の間でトラフィックの出入りに大きな差がありました。トラフィックパターンがこのような状態であったため、エンドユーザーに信頼できる包括的な接続性を保証し、障害発生時に一括して対応する窓口を確保するには、Tier-1 プロバイダのトランジットに頼るしかありませんでした。
境界ネットワークの容量は数百ギガビットであり、そのほぼすべてがトランジットプロバイダを使用していました。PoP の間でトラフィックをシフトすることが課題でした。

Dropbox ルーティングアーキテクチャ
2014 年当時、Dropbox では Border Gateway Protocol（BGP）を境界ネットワークで使用して、ネットワーク内のトランジットピアおよびファブリックピアと接続し、基幹ネットワーク内ではデータセンターとの接続に使用していました。
また、Dropbox ネットワーク内で BGP が必要とする NLRI（ネットワーク層到達性情報）を解決するため、下位プロトコルとして Open Shortest Path First（OSPF）を使用しました。
ルーティングポリシーでは、トランジットピアやファブリックピアから取得されたプリフィックスだけでなく、ネットワーク内のプリフィックスにもタグ付けした拡張 BGP コミュニティを使用していました。Dropbox では、複数のパスが存在する場合に、プリフィックスの出口パスを選択するため、BGP プロトコルスイートでさまざまなパス属性も使用しています。

2014 年から 2015 年にかけて
Dropbox の境界ネットワークが発展した状況を示すアニメーション

2015 年：計画とクリーンアップの年

2015 年始めにDropbox はルーティングアーキテクチャを全面的に見直しました。その一環として OSPF から IS-IS に移行し、BGP コミュニティを変更し、MPLS-TE を実装して基幹ネットワークの活用方法を改善しました。MPLS-TE はネットワーク全体にわたるトラフィックの効率的な転送を実現するアルゴリズムであり、リンクの過剰使用や過少利用を避けることができます。この見直しにより、増加し続けるネットワーク PoP 間のトラフィックフローの動的な変化にネットワークがうまく対応できるようになりました。
これらの変更については、基幹ネットワークに関する今後のブログ記事で詳しく紹介する予定です。
2015 年中頃には、ユーザーに提供するサービス効率の向上、ラウンドトリップ時間の短縮、Dropbox からエンドユーザーへの出口パスの最適化について検討を開始しました。
Dropbox は米国外でも事業を急速に拡大していたため、欧州市場に注目し、この地域のより多くのエンドユーザーネットワークとピアリングできる場所を重点的に探し始めました。主要なピアリングエクスチェンジに接続性を提供する 3 か所の PoP を欧州で選択し、北米と欧州でピアリングを行う境界ネットワークの拡充にも意欲的に取り組みました。Dropbox のピアリングポリシーはオープンであり、Dropbox Peering Policy に情報が掲載されています。
2015 年末までには、パロアルト、ダラス、ニューヨークの 3 か所に新しい PoP を追加し、さらに数百ギガビットのトランジット容量が加わりました。また、ピアネットワークの数と、ピア接続経由のトラフィック量を大幅に増やしました。まだ圧倒的にトランジットパートナーに依存している部分が大きかったとはいえ、ピア接続を地理的にも容量的にも拡大することで、ユーザーパフォーマンスを向上するより広範囲なトラフィックエンジニアリングを実装できるようになりました。これが新しい境界プロキシ設計の基礎となりました。

2016 年：拡大、最適化、ピアリングの年

2016 年からは、次の 3 つの主要領域に焦点を絞るようになりました。

ユーザーにより近い場所でサービスを提供し、同期パフォーマンスの向上に取り組むため、欧州とアジアで新しい PoP を展開する
PoP 間でより高速なネットワーク接続を可能にするカスタムアーキテクチャを設計し、構築する（新しい境界プロキシスタックアーキテクチャ、新しいルーティングアーキテクチャ、標準化/最適化された IP トランジットアーキテクチャなど）
ネットワーク内のピア接続を増やすため、新しいピアリング関係を構築する

欧州とアジア全体に拡大
トラフィックフローに関して収集したデータと、その他のさまざまな検討事項に基づいて、ロンドン、フランクフルト、アムステルダムに焦点を絞りました。これらの都市では、欧州全域の都市に対して最大数の参照用ネットワークが提供されています。欧州 3 都市の PoP は 2016 年に基幹ネットワーク経由のリングトポロジでスムーズに展開され、ニューヨークとアッシュバーンを米国でのエントリポートとして、Dropbox のネットワークに接続されました。
同時に、2016 年はアジアでのトラフィック量が増大したため、欧州と同様の取り組みに着手しました。2016 年第 3 四半期には、Dropbox の境界ネットワークをアジア全体に拡大することが決まり、東京、シンガポール、香港に PoP が展開されました。これらの拠点は、その地域のコンテンツネットワークとしてだけではなく、アジア太平洋地域内で Dropbox を使用する他のユーザー向け参照用ネットワークとして運用するために選択されました。

境界プロキシスタックアーキテクチャ
PoP を配置した後は、ネットワークの転送速度を上げるための新しいアーキテクチャを構築しました。
境界プロキシスタックはユーザー向けの SSL ターミネーションを処理し、Dropbox ネットワーク全体でバックエンドサーバーへの接続性を維持します。境界プロキシスタックは IPVS マシンおよび NGINX マシンで構成されます。
プロキシスタックアーキテクチャについては、今後のブログ記事で詳しく紹介する予定です。

Dropbox PoP アーキテクチャ

次世代ルーティングアーキテクチャ
プロキシスタックを配置した後は、ルーティングに注目しました。Dropbox の本来の戦略は、各 PoP からパブリックプリフィックスをすべてアドバタイズすることでした。これは、フロントエンドがデータセンターに統合されていたときは理にかなっていました。プロキシスタックが導入され、新しい PoP が展開された今では、非対称なルーティングや最適とは言えないルーティングを避けるため、この設計を変更する必要がありました。そうすれば、ユーザーに最も近い PoP からサービスを提供できるようになります。新しいルーティングポリシーの設計に当たって検討した要素は次のとおりです。

ネットワークリソースのより効率的な利用を進める
予測可能性の高い障害シナリオを実現する
より正確な容量計画を可能にする
運用の複雑さを最小限に抑える

新しい設計では、「メトロ」の概念を導入しました。この概念では、地域を個別のメトロに分割します。この設計は、Dropbox のトラフィックフローと要件に基づいて検証されました。メトロの背景にある考え方は次のとおりです。

メトロの近くにいるユーザーは、メトロ内の最寄りの PoP にルーティングされ他の PoP からはサービスを受けないため、レイテンシが減少し、ユーザーエクスペリエンスが向上します。
一部のメトロには、冗長性の観点から複数の PoP を配置します。
メトロはそれ自体が障害ドメインであり、メトロ固有のプリフィックスをインターネットに回収することで、必要に応じてトラフィックをメトロから転換できます。
プリフィックスは地域/メトロ内に含まれ、その地域/メトロからインターネットにのみアドバタイズされます。
メトロ内とインターネットのどちらにルーティングするかの判断をより明白にします。

また、新しいメトロという考え方をサポートするため、BGP コミュニティも更新しました。プリフィックスにはその発生元のタグが付けられます。内部または外部で取得されたルートには、適切なルートタイプが割り当てられます。プリフィックスのアドバタイズは、そのルート範囲に基づいて、メトロ、地域、大陸、またはグローバルに制限（要約）されます。さらに、ルーターに対して内部的な意味を持つプリフィックスに適用できる一連のアクションを定義しました。タグを使用することで、その他の情報（コミュニティなど）を特別な処理のプリフィックスとともに含めることができます。

IP トランジットアーキテクチャの標準化と最適化
現在と比べると、2016 年中頃までは Dropbox のトランジット容量は不均一でバランスが取れていませんでした。各メトロの IP トランジットポートの容量がバラバラだったため、あるメトロを空にしなければならないときも、容量制限が原因でトラフィックを必ずしも最寄りの PoP にルーティングできない場合がありました。この問題を解決するため、すべての PoP の IP トランジット容量を標準化し、各 PoP で十分な容量を確保しました。今では、PoP がダウンした場合や、ディザスターリカバリテスト（DRT）を実施する必要がある場合に、メトロ間でトラフィックを移動するのに十分な容量があります。トランジットプロバイダから Dropbox に入るトラフィックのバランスも取れていませんでした。そこで、Tier-1 プロバイダと協力し、当社の ASN に入るトラフィックの不均衡を修正するさまざまな解決策を実装しました。
また、IP トランジットのための境界ルーティングポリシーの設計も見直し、プリフィックスが ASN を出るときにトランジットプロバイダ間で最短の AS-PATH を使用するようにしました。複数の Tier-1 プロバイダ間で AS-PATH が同じである場合パス選択のための BGP 属性の 1 つ、Multi-Exit Discriminator （MED）を使用して優先経路が選択されます。

ピアリングの拡大
2016 年第 1 四半期まで、Dropbox のピアリングは比較的小規模であったため、トラフィックの大部分はトランジットプロバイダ経由でネットワークを出ていました。Dropbox では、各メトロの上位 ASN の背後にあるトランジットプロバイダの特定を開始し、NetFlow 経由でのデータ収集を始めました。第 2 四半期の中頃までに、ピアリングに関する検討を始められそうな ASN（参照用ネットワーク）のリストを作成し、2016 年末までに 30 % のトラフィックをピアリングにシフトすることで接続性を向上させ、ユーザーの近くでサービスを運用することに成功しました。世界中のユーザーが、Dropbox へのアクセス時に大幅なパフォーマンス向上を実感しました。

現在の境界ネットワーク
SSL ハンドシェイクをデータセンターに送信せずに PoP 経由で実行することで、接続時間が大幅に短縮され、転送速度が向上しました。この構成は欧州とアジアのさまざまな市場でテストされ、適用されています。たとえば、境界プロキシサーバーの導入後、欧州の一部ユーザーの平均ダウンロード速度は 40 % 速く、平均アップロード速度は約 90 % 速くなりました。日本では、平均ダウンロード速度が 2 倍に、平均アップロード速度が 3 倍になりました。

下のグラフは、Dropbox の各 PoP に境界プロキシスタックを展開した後の、欧州とアジア太平洋地域における TCP/SSL 接続の主な改善状況を示しています。各国の接続時間をグラフにしたものです（数値が下がるほど優れています）。

境界ネットワークのパフォーマンスを示すグラフ – アジアと欧米

欧州とアジアの複数の顧客からは、これらの PoP の開始後、Dropbox のパフォーマンスが大幅に向上したという声も届いています。下のグラフは、こうした顧客のうち、ある会社でのレイテンシの減少を示しています。

ある顧客のレイテンシの減少
2016 年末までに、欧州とアジアに 6 か所の PoP を新たに追加したことで、PoP は合計 14 か所となり、Dropbox の境界ネットワークの容量はテラビット規模に達しました。メトロ/地域のトラフィックの比率と、ネットワーク全体の標準化されたトランジットアーキテクチャに基づいて、トランジット、ファブリック、プライベートピアに数百ギガバイトの容量が追加されました。さらに、ピアリング経由で 200 以上の独自 ASN が追加されました。現在、インターネットトラフィックの大部分はユーザーに最も近い最良の PoP から直接ピアリング経由で運ばれているためユーザーのパフォーマンス向上とネットワークの効率化が実現しています。