Using cURL to Test Origin Server Responses
Matt Torrisi
Senior Sales Engineer, Fastly
あるトピックが繰り返し話題に出ることって、たまにありますよね。私は Fastly の Sales Engineer としてお客様のシステムの構築やデプロイを手掛けていますが、先週さまざまな場面で同じテーマが何度も繰り返し話題に上がることがありました。
先日、cURL というツールを使ってオリジンサーバーのレスポンスをテストしていました (例えば、アプリがおかしなエラーメッセージを返して応答している場合などのテストに便利なツールです)。結構ニッチなユースケースだと思っていたのですが、これがなぜか私の周りで何度も繰り返し話題になったのです。cURL に関してあまり詳しくない同僚や、デプロイのトラブルシューティングをしているお客様にこのプロセスについて説明する機会がありましたが、皆さんにとっても参考になるかと思い、ブログ記事を書くことにしました。では、早速 cURL についてご説明します。
### cURL について
クライアント URL (通称 cURL または curl) は、[1997年に Daniel Stenberg 氏によってリリース](https://en.wikipedia.org/wiki/CURL)されました。公開後も、Daniel Stenberg 氏は cURL プロジェクトのメンテナンスに熱心に取り組み続けています。もともとは、通貨為替レートのフェッチを自動化するために IRC ユーザー向けに開発された cURL ですが、現在ではあらゆる形の URL フェッチに幅広く使用されるようになりました。開発以来、多くのプロジェクトにとってバックボーンとなった cURL に、絶え間なく新たな機能を開発・追加し続けている Daniel Stenberg 氏は、開発者の鏡です。
cURL は、URL に HTTP リクエストを送信し、結果を受信することを可能にするコマンドラインユーティリティです。多くの Linux ディストリビューションや MacOs などのオペレーティングシステムにデフォルトで含まれています。HTTP 中心の仕組みが多いインターネットで、Web ページや API など、HTTP インターフェイスを利用しているものにアクセスするのに便利なツールです。
今回のデモでは、cURL を使用して Web ページをリクエストする際のブラウザ体験をシミュレートしてみます。これによってリクエストを完全にコントロールし、トラブルシューティングをより容易に行うことが可能になります。
以下は、MacBook のターミナルアプリケーションから実行したシンプルな cURL のコマンドです。Fastly.com のホームページをリクエストするこのコマンドでは、HTML 全体が表示されます。これによる出力は冗長ですので、後ほどクリーンアップします。
```
curl https://www.fastly.com/
```
### フラグ
cURL の優れたところは、フラグを使用してリクエストを操作できるところです。例えば、`-I` をパスすることで、レスポンスに表示する内容を、コンテンツではなくリモートサーバーからのヘッダーのみに制限することができます。
私がほぼ全ての cURL コマンドで使っているフラグは、`-svo` (silent モード (s)、 verbose モード (v)、writing to a file (o)) で、これを `/dev/null` に追加します。コマンド全体は `curl -svo /dev/null https://www.fastly.com` になります。こうすることで、レスポンスボディのノイズを排除し、リクエストの詳細に集中することができます。また、ヘッダーには送信済み、または受信済みのフラグが付くので便利です。SSL ネゴシエーションは、メインのリクエストの前に表示されるようになっています。
以下では、記述されたコマンド ($)、接続と SSL ネゴシエーション (*)、リクエスト (>)、そしてレスポンス (<) が確認できます。
```shell
$ curl -svo /dev/null https://www.fastly.com/
* Trying 199.232.77.57...
* TCP_NODELAY set
* Connected to www.fastly.com (199.232.77.57) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
* CAfile: /etc/ssl/cert.pem
CApath: none
* TLSv1.2(OUT), TLS handshake, Client hello (1):
} [228 bytes data]
* TLSv1.2(IN), TLS handshake, Server hello (2):
{ [102 bytes data]
* TLSv1.2(IN), TLS handshake, Certificate (11):
{ [2828 bytes data]
* TLSv1.2(IN), TLS handshake, Server key exchange (12):
{ [300 bytes data]
* TLSv1.2(IN), TLS handshake, Server finished (14):
{ [4 bytes data]
* TLSv1.2(OUT), TLS handshake, Client key exchange (16):
} [37 bytes data]
* TLSv1.2(OUT), TLS change cipher, Change cipher spec (1):
} [1 bytes data]
* TLSv1.2(OUT), TLS handshake, Finished (20):
} [16 bytes data]
* TLSv1.2(IN), TLS change cipher, Change cipher spec (1):
{ [1 bytes data]
* TLSv1.2(IN), TLS handshake, Finished (20):
{ [16 bytes data]
* SSL connection using TLSv1.2/ ECDHE-RSA-CHACHA20-POLY1305
* ALPN, server accepted to use h2
* Server certificate:
* subject: C=US; ST=California; L=San Francisco; O=Fastly, Inc.; CN=www.fastly.com
* start date: Mar 3 21:56:03 2021 GMT
* expire date: Apr 4 21:56:03 2022 GMT
* subjectAltName: host "www.fastly.com"matched cert's "www.fastly.com"
* issuer: C=BE; O=GlobalSign nv-sa; CN=GlobalSign RSA OV SSL CA 2018
* SSL certificate verify ok.
* Using HTTP2, server supports multi-use
* Connection state changed (HTTP/2 confirmed)
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x7fe1f980aa00)
> GET / HTTP/2
> Host: www.fastly.com
> User-Agent: curl/7.64.1
> Accept: */*
>
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
< HTTP/2 200
< alt-svc: h3=":443";ma=86400,h3-29=":443";ma=86400,h3-27=":443";ma=86400
< etag: "5c770df920f8c90e4c4532c32aea6ec3"
< content-type: text/html
< accept-ranges: bytes
< date: Mon, 09 Aug 2021 15:38:35 GMT
< x-served-by: cache-pwk4963-PWK
< x-cache: HIT
< x-cache-hits: 2
< x-timer: S1628523515.208976,VS0,VE0
< vary: Accept-Encoding
< x-xss-protection: 1; mode=block
< x-frame-options: DENY
< x-content-type-options: nosniff
< cache-control: max-age=0, private, must-revalidate
< server: Artisanal bits
< strict-transport-security: max-age=31536000
< content-length: 777219
<
{ [1113 bytes data]
* Connection #0 to host www.fastly.com left intact
* Closing connection 0
```
### URL と SSL 名
上記のシナリオでは、SSL 証明書名、Host ヘッダー、DNS 名のすべての値が `www.fastly.com` として設定されています。もちろん、これで十分な場合もあります。今回は、これらを分けることで、異なる目的のトラブルシューティングで各要素を検査できるようにします。
今使用されている `https://www.fastly.com/` では、リクエストされている URL が表示されています。URL 内で使用されているホスト名 (`www.fastly.com` など) が、cURL が SSL 証明書を検証するために使用する値となります。これは、TLS が正常に動作していること、そして正しい証明書によってサイトが保護されていることを確認するために重要です。以下の例をご覧ください。
$ curl -svo /dev/null https://www.fastly.com/
* Trying 199.232.77.57...
* TCP_NODELAY set
* Connected to www.fastly.com (199.232.77.57) port 443 (#0)
* ALPN, offering h2
* ALPN, offering http/1.1
* successfully set certificate verify locations:
* CAfile: /etc/ssl/cert.pem
CApath: none
* TLSv1.2(OUT), TLS handshake, Client hello (1):
} [228 bytes data]
* TLSv1.2(IN), TLS handshake, Server hello (2):
{ [102 bytes data]
* TLSv1.2(IN), TLS handshake, Certificate (11):
{ [2828 bytes data]
* TLSv1.2(IN), TLS handshake, Server key exchange (12):
{ [300 bytes data]
* TLSv1.2(IN), TLS handshake, Server finished (14):
{ [4 bytes data]
* TLSv1.2(OUT), TLS handshake, Client key exchange (16):
} [37 bytes data]
* TLSv1.2(OUT), TLS change cipher, Change cipher spec (1):
} [1 bytes data]
* TLSv1.2(OUT), TLS handshake, Finished (20):
} [16 bytes data]
* TLSv1.2(IN), TLS change cipher, Change cipher spec (1):
{ [1 bytes data]
* TLSv1.2(IN), TLS handshake, Finished (20):
{ [16 bytes data]
* SSL connection using TLSv1.2/ ECDHE-RSA-CHACHA20-POLY1305
* ALPN, server accepted to use h2
* Server certificate:
* subject: C=US; ST=California; L=San Francisco; O=Fastly, Inc.; CN=www.fastly.com
* start date: Mar 3 21:56:03 2021 GMT
* expire date: Apr 4 21:56:03 2022 GMT
* subjectAltName: host "www.fastly.com" matched cert's "www.fastly.com"
* issuer: C=BE; O=GlobalSign nv-sa; CN=GlobalSign RSA OV SSL CA 2018
* SSL certificate verify ok.
--->{ 読みやすさのために省略されています }<---
$ curl -svo /dev/null https://www.fastly.com/-H "host: fastly.com"
* Trying 199.232.77.57...
* TCP_NODELAY set
* Connected to www.fastly.com (199.232.77.57) port 443 (#0)
--->{ 読みやすさのために省略されています }<---
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* Using Stream ID: 1 (easy handle 0x7fa15480aa00)
> GET / HTTP/2
> Host: fastly.com
> User-Agent: curl/7.64.1
> Accept: */*
>
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
< HTTP/2 301
< retry-after: 0
< accept-ranges: bytes
< date: Mon, 09 Aug 2021 16:26:07 GMT
< x-served-by: cache-pwk4938-PWK
< x-cache: HIT
< x-cache-hits: 0
< cache-control: max-age=0, private, must-revalidate
< server: Artisanal bits
< strict-transport-security: max-age=31536000
< location: https://www.fastly.com/
< content-length: 0
<
{ [0 bytes data]
* Connection #0 to host www.fastly.com left intact
* Closing connection 0
$ curl -svo /dev/null https://www.fastly.com/-H "host: fastly.com"--resolve www.fastly.com:443:151.101.185.57
* Added www.fastly.com:443:151.101.185.57 to DNS cache
* Hostname www.fastly.com was found in DNS cache
* Trying 151.101.185.57...
* TCP_NODELAY set
* Connected to www.fastly.com (151.101.185.57) port 443 (#0)
--->{ 読みやすさのために省略されています }<---
curl -svo /dev/null https://www.certificate-name.com/path/to/resource/ -H "host: www.expected-host.com" --resolve www.certificate-name.com:443:1.2.3.4
