Importar archivos desde Amazon S3

🤖/s3/import importa directorios completos de archivos desde tu bucket de S3.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowTransloaditToImportFilesIn{BUCKET_NAME}Bucket",
      "Effect": "Allow",
      "Action": ["s3:GetBucketLocation", "s3:ListBucket"],
      "Resource": ["arn:aws:s3:::{BUCKET_NAME}", "arn:aws:s3:::{BUCKET_NAME}/*"]
    }
  ]
}

Ejemplo de uso

{
  "steps": {
    "imported": {
      "robot": "/s3/import",
      "credentials": "YOUR_AWS_CREDENTIALS",
      "path": "path/to/files/",
      "recursive": true
    }
  }
}

Parámetros

• interpolate

  boolean | Record<string, boolean>

  Controla si las Assembly Variables se interpolan en campos de instrucciones individuales.

  De forma predeterminada, la mayoría de los campos de instrucciones de los Robots interpolan Assembly Variables. Establece esta opción en false para tratar todos los campos de instrucciones como texto literal, o establece la ruta de un campo individual en false para tratar únicamente ese campo como texto literal. En el caso de los campos específicos de un Robot que son literales de forma predeterminada, establece esta opción en true o la ruta de ese campo en true para volver a habilitar la interpolación.

  Usa nombres de campos como path o rutas con puntos como ffmpeg.vf para los objetos anidados.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Te permite especificar un conjunto de metadatos cuyo cálculo requiere más recursos de CPU y que, por lo tanto, está desactivado de forma predeterminada para que tus Assemblies se procesen rápidamente.

  Para imágenes, puedes añadir "has_transparency": true a este objeto para determinar si la imagen contiene partes transparentes y "dominant_colors": true para extraer un array de códigos de color hexadecimales de la imagen.

  Para imágenes, también puedes añadir "blurhash": true para extraer una cadena BlurHash⁠, una representación compacta de un marcador de posición para la imagen que resulta útil para mostrar una vista previa desenfocada mientras se carga la imagen completa.

  Para videos, puedes añadir el parámetro "colorspace": true para extraer el espacio de color del video de salida.

  Para videos, también puedes añadir "interlaced": true para detectar si el video está entrelazado. Esto combina el indicador field_order de ffprobe, cuyo costo en recursos de procesamiento es bajo, con una pasada de muestreo limitada mediante idet sobre los primeros fotogramas de la fuente, y expone interlaced, field_order y un objeto de diagnóstico interlace_detection en file.meta. Esto requiere muchos recursos computacionales y se factura en consecuencia.

  Para audio, puedes añadir "mean_volume": true para obtener un único valor que represente el volumen promedio del archivo de audio.

  También puedes establecerlo en false para omitir la extracción de metadatos y acelerar la transcodificación.

• result

  boolean(valor predeterminado: false)

  Indica si los resultados de este Step deben aparecer en el Assembly Status JSON

• queue

  batch

  Establecer la cola en «batch» reduce manualmente la prioridad de los Jobs de este Step para evitar consumir cupos prioritarios con Jobs que no necesitan un tiempo de espera cero en la cola

• force_accept

  boolean(valor predeterminado: false)

  Forzar a un Robot a aceptar un tipo de archivo que habría ignorado.

  De forma predeterminada, los Robots ignoran los archivos que no reconocen. 🤖/video/encode, por ejemplo, ignorará sin problemas las imágenes de entrada.

  Si configuras el parámetro force_accept como true, puedes forzar a los Robots a aceptar todos los archivos que reciban. Esto normalmente provocará errores y solo debe usarse para depuración o para abordar casos extremos.

• ignore_errors

  boolean | Array<meta | import | execute>(valor predeterminado: [])

  Ignorar errores durante fases específicas del procesamiento.

  Configurar este parámetro como ["meta"] hará que el Robot ignore los errores durante la extracción de metadatos.

  Configurar este parámetro como ["execute"] hará que el Robot ignore los errores durante la fase principal de ejecución.

  Configurar este parámetro como ["import"] hará que el Robot ignore los errores al importar el archivo de origen. La fase "import" solo está disponible para los Robots de importación.

  Configurar este parámetro como true equivale a ["meta", "import", "execute"] y hará que se ignoren los errores en las tres fases.

• force_name

  string | Array<string> | null(valor predeterminado: null)

  Nombre personalizado para el archivo o los archivos importados. De forma predeterminada, los nombres de archivo se derivan de la fuente.

• import_on_errors

  Array<meta>(valor predeterminado: [])

  Si estableces este parámetro en ["meta"], el archivo se importará incluso si se producen errores al extraer los metadatos. ignore_errors funciona de forma similar: también ignora el error y evita que el Robot se detenga, pero no importa el archivo.

• credentials

  string

  Crea las credenciales de Template asociadas en tu cuenta de Transloadit y usa el nombre de esas credenciales de Template como valor de este parámetro. Contendrán los valores de bucket, key, secret y bucket_region para S3.

  Aunque recomendamos usar siempre credenciales de Template, algunos casos de uso requieren credenciales dinámicas para las que resulta demasiado engorroso usar credenciales de Template debido a su naturaleza estática. Si tienes este requisito, puedes usar en su lugar los siguientes parámetros: "bucket", "bucket_region" (por ejemplo: "us-east-1" o "eu-west-2"), "key", "secret".

• path — obligatorio

  string | Array<string>

  La ruta de tu bucket al archivo o directorio específico. Si la ruta apunta a un archivo, solo se importará ese archivo. Por ejemplo: images/avatar.jpg.

  Si apunta a un directorio, indicado mediante una barra diagonal al final (/), se importarán todos los archivos que sean descendientes directos de ese directorio. Por ejemplo: images/.

  Los directorios no se importan de forma recursiva. Si quieres importar archivos de subdirectorios y de subdirectorios anidados, habilita el parámetro recursive.

  Si quieres importar todos los archivos del directorio raíz, usa / como valor. En este caso, asegúrate de que todos tus objetos pertenezcan a una ruta. Si tienes objetos en la raíz de tu bucket que no llevan el prefijo /, recibirás este error: A client error (NoSuchKey) occurred when calling the GetObject operation: The specified key does not exist.

  También puedes usar aquí un array de cadenas de rutas para importar varias rutas en el mismo Robot, dentro de su Step.

• recursive

  boolean(valor predeterminado: false)

  Si estableces este parámetro en true, se habilitará la importación de archivos desde los subdirectorios y subdirectorios anidados (etc.) de la ruta indicada.

  Usa con prudencia los parámetros de paginación page_number y files_per_page.

• page_number

  string | number

  El número de página de la paginación. Por ahora, para no afectar la compatibilidad con versiones anteriores en las importaciones no recursivas, esto solo funciona cuando recursive está establecido en true.

  Cuando realices importaciones grandes, asegúrate de que otros scripts no agreguen ni eliminen archivos dentro de tu ruta; de lo contrario, podrías obtener resultados inesperados en la paginación.

• files_per_page

  string | number

  El tamaño de página de la paginación. Por ahora, esto solo funciona cuando recursive es true, para no afectar la compatibilidad con versiones anteriores en las importaciones no recursivas.

• return_file_stubs

  boolean(valor predeterminado: false)

  Si estableces este parámetro en true, el Robot aún no importará los archivos reales, sino que devolverá un stub de archivo vacío que incluye una URL desde la cual los Robots posteriores podrán importar el archivo. Esto resulta útil cuando los Steps posteriores necesitan mayor control sobre el proceso de importación, como ocurre con 🤖/video/ondemand. Este parámetro solo debe establecerse si todos los Steps posteriores usan Robots compatibles con stubs de archivo.

• range

  string | Array<string>

  Te permite especificar uno o más rangos de bytes para importar desde el archivo. Para que esto funcione, S3 debe admitir solicitudes de rango.

  Rango único: Usa una cadena como "0-99" para importar los bytes 0-99 (los primeros 100 bytes).

  Varios rangos: Usa un array como ["0-99", "200-299"] para importar varios rangos independientes. El archivo resultante contendrá todos los rangos solicitados concatenados, y los espacios entre rangos no contiguos se rellenarán con bytes cero (\0).

  Formatos de rango:

  • "0-99": Bytes desde 0 hasta 99 (inclusive)
  • "100-199": Bytes desde 100 hasta 199 (inclusive)
  • "-100": Los últimos 100 bytes del archivo

  Notas importantes:

  • S3 admite solicitudes de rango de forma predeterminada
  • Se permiten rangos superpuestos y se incluirán según lo solicitado
  • El tamaño del archivo resultante corresponderá a la posición de byte más alta solicitada, y los espacios se rellenarán con bytes cero
  • Cada rango se obtiene mediante una solicitud independiente para garantizar la compatibilidad con S3

Demos

Publicaciones relacionadas del blog