cURL でファイルをダウンロードして再開する方法
cURL でファイルをダウンロードするには、URL と、-o による出力ファイル名を指定します。以下の手順では、curl プロジェクトのソースアーカイブを保存します。リダイレクトに追従し、途中で停止したダウンロードを再開する方法も説明します。
ターミナルでの cURL の確認
ファイルを保存できるディレクトリでターミナルを開きます。ここでは Bash 形式のコマンドを使い、macOS 上の cURL 8.7.1 と 8.22.0 で動作を確認しています。まず、インストールされているバージョンを確認します。
curl --version
最初の行は curl とバージョン番号で始まるはずです。コマンドが見つからない場合は、curl のダウンロードページで、使用しているプラットフォーム向けのインストール方法を探してください。
ローカルファイルへのダウンロード
サンプルファイルとして curl 8.22.0 のソースアーカイブをダウンロードします。ビルドやインストールは不要です。このコマンドは同名の既存ファイルを上書きするため、既存ファイルを残す必要がある場合は別の出力ファイル名を指定してください。
curl -fsSLo curl-8.22.0.tar.xz 'https://curl.se/download/curl-8.22.0.tar.xz'
短いオプションを -fsSLo にまとめています。
| オプション | 動作 |
|---|---|
-f (--fail) | 404 などの HTTP エラーを転送失敗として報告します。 |
-s (--silent) | 進捗表示を非表示にします。 |
-S (--show-error) | -s の使用時もエラーメッセージを表示します。 |
-L (--location) | HTTP リダイレクトに追従します。 |
-o (--output) | 直後に指定したファイル名でレスポンスを保存します。 |
これらのオプションは curl のマニュアルに記載されています。出力オプションがない場合、cURL は標準出力(通常はターミナル)に書き込みます。-o を使うと、別のパスを指定しない限り、カレントディレクトリのファイルに書き込みます。
-L は、ダウンロードリンクが別の場所にリダイレクトする場合に重要です。cURL はリダイレクト先にリクエストを送り、そのレスポンスを指定したファイル名で保存します。最初のダウンロードと、後述の再開コマンドの両方にこのオプションを含めてください。
成功すると、このコマンドは何も表示せずにプロンプトに戻ります。保存したサイズを確認します。
wc -c < curl-8.22.0.tar.xz
このアーカイブのサイズは 2953092 バイトです。ここで確認しているのはサイズであり、内容ではありません。ダウンロードしたバイト列を検証する必要がある場合は、配布元のチェックサムを使ってください。別のファイルをダウンロードするには、URL と出力ファイル名の両方を置き換えます。& などのシェルの特殊文字でコマンドが分割されないよう、URL は引用符で囲んだままにしてください。
ダウンロード失敗の判別
-f を指定すると、HTTP 404 や 500 などのレスポンスに対し、cURL はコード 22 とエラーメッセージを返して終了します。サーバーのエラーページをダウンロードファイルとして保存することはありません。-f がないと、HTTP エラーレスポンスでも転送成功のように見える場合があります。マニュアルの --fail の動作を参照してください。
ネットワーク障害では、ダウンロード途中のファイルがディスクに残る場合があります。ファイルが存在するだけでは、転送が完了した証拠にはなりません。URL が HTTP 200 でログインページを返す場合も、-f では検出できません。cURL は、受信したバイト列がダウンロードしようとしたファイルかどうかを判断できないためです。
中断したダウンロードの再開
ダウンロードが停止した場合は、途中まで保存されたファイルを残してください。実際に試すには、速度制限を指定して新たにダウンロードを開始し、数秒後に Ctrl+C を押します。この操作では、先ほどダウンロードしたアーカイブを意図的に上書きします。このコマンドでは -s を省略しているため、進捗が表示されます。
curl -fSL --limit-rate 50K -o curl-8.22.0.tar.xz 'https://curl.se/download/curl-8.22.0.tar.xz'
同じディレクトリで、同じ出力ファイル名と URL を指定して続行します。
curl -fsSL -C - -o curl-8.22.0.tar.xz 'https://curl.se/download/curl-8.22.0.tar.xz'
- を -C の後に指定すると、cURL はローカルファイルのサイズを開始バイトオフセットとして使います。HTTP では、cURL が残りのバイトを追記するために、サーバーが範囲リクエストに応じる必要があります。curl のダウンロード再開ガイドで、オフセットの決定方法を説明しています。コマンドが成功したら、前述のサイズ確認をもう一度行ってください。
サーバーが範囲リクエストを無視すると、cURL は再開せず、エラー 33 を報告します。元のダウンロードコマンドから -C - を除いて最初から実行し、途中まで保存されたファイルを完全なダウンロードで置き換えてください。
再開するのは、リモート側の内容が変わっていないファイルだけにしてください。cURL は途中まで保存されたファイルの長さを使いますが、保存済みのバイト列とサーバー側のコピーを比較するわけではありません。そのため、リモートファイルが変更されていると、転送が成功しても新旧の内容が混在する場合があります。ここで使ったアーカイブのようにバージョンを含むダウンロード URL なら、参照先が変わる「latest」URL に頼らずに済みます。ファイルが変更されたかどうか不明な場合は、最初からやり直してください。
ファイルをアップロードして Transloadit の Template を実行する方法は、Assembly を作成する API ガイドを参照してください。
