Importar archivos desde Amazon S3

🤖/s3/import importa directorios completos de archivos desde tu bucket de S3.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowTransloaditToImportFilesIn{BUCKET_NAME}Bucket",
      "Effect": "Allow",
      "Action": ["s3:GetBucketLocation", "s3:ListBucket"],
      "Resource": ["arn:aws:s3:::{BUCKET_NAME}", "arn:aws:s3:::{BUCKET_NAME}/*"]
    }
  ]
}

Ejemplo de uso

{
  "steps": {
    "imported": {
      "credentials": "YOUR_AWS_CREDENTIALS",
      "path": "path/to/files/",
      "recursive": true,
      "robot": "/s3/import"
    }
  }
}

Parámetros

• interpolate

  boolean | Record<string, boolean>

  Controla si las Assembly Variables se interpolan en campos de instrucciones individuales.

  De forma predeterminada, la mayoría de los campos de instrucciones de los Robots interpolan Assembly Variables. Establece esta opción en false para tratar todos los campos de instrucciones como texto literal, o establece la ruta de un campo individual en false para tratar únicamente ese campo como texto literal. En el caso de los campos específicos de un Robot que son literales de forma predeterminada, establece esta opción en true o la ruta de ese campo en true para volver a habilitar la interpolación.

  Usa nombres de campos como path o rutas con puntos como ffmpeg.vf para los objetos anidados.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Te permite especificar un conjunto de metadatos cuyo cálculo requiere más recursos de CPU y que, por lo tanto, está desactivado de forma predeterminada para mantener el procesamiento de tus Assemblies rápido.

  Para imágenes, puedes añadir "has_transparency": true en este objeto para extraer si la imagen contiene partes transparentes y "dominant_colors": true para extraer un array de códigos de color hexadecimales de la imagen.

  Para imágenes, también puedes añadir "blurhash": true para extraer una cadena BlurHash⁠, una representación compacta de un marcador de posición para la imagen que resulta útil para mostrar una vista previa desenfocada mientras se carga la imagen completa.

  Para imágenes, "thumbhash": true extrae en su lugar un ThumbHash⁠ codificado en base64 en meta.thumbhash, junto con meta.has_alpha (si existe un canal alfa, incluso cuando es totalmente opaco). Describe píxeles orientados según EXIF y usa el primer fotograma en el caso de imágenes animadas. La extracción se realiza según el mejor esfuerzo posible: las imágenes de más de 40 megapíxeles, los formatos no compatibles o una decodificación fallida o limitada no generan ningún marcador de posición. Una extracción exitosa añade un cargo de metadatos equivalente al 20 % de los bytes de ese archivo. No se aplica ningún recargo por ThumbHash cuando está desactivado o cuando no se genera ningún hash.

  Configura esta opción en el Step que genera la imagen, como /upload/handle para los originales subidos o /image/resize para las salidas procesadas. Configurarla únicamente en /transloadit/store no solicita la extracción: el almacenamiento conserva los metadatos del origen. Transloadit Storage conserva un hash generado junto con su versión inmutable y lo devuelve en los resultados almacenados y en las lecturas nativas de activos. Las subidas directas a S3 no generan marcadores de posición. Un marcador de posición contiene información de la imagen, por lo que debes protegerlo con los mismos controles de acceso que la imagen completa.

  Para videos, puedes añadir el parámetro "colorspace": true para extraer el espacio de color del video de salida.

  Para videos, también puedes añadir "interlaced": true para detectar si el video está entrelazado. Esto combina el indicador field_order de ffprobe, cuyo costo computacional es bajo, con una pasada de muestreo limitada mediante idet sobre los primeros fotogramas de la fuente, y expone interlaced, field_order y un objeto de diagnóstico interlace_detection en file.meta. Esto requiere muchos recursos computacionales y se factura en consecuencia.

  Para audio, puedes añadir "mean_volume": true para obtener un único valor que represente el volumen promedio del archivo de audio.

  También puedes establecer esto en false para omitir la extracción de metadatos y acelerar la transcodificación.

• user_meta

  Record<string, any>(valor predeterminado: {})

  Añade metadatos JSON personalizados a cada archivo emitido sin modificar su contenido. Se admiten objetos y arrays anidados.

  La herencia depende del Robot. Los valores se combinan con los user_meta existentes en el archivo de salida; el Step actual reemplaza las claves coincidentes de nivel superior. Asigna explícitamente las claves necesarias cuando un Robot cree nuevos archivos de salida.

  En los Steps de procesamiento, ${file.*} hace referencia a la primera entrada y ${result.*} al archivo emitido. Los valores se evalúan para cada salida después de ejecutarse el Robot, antes de la posterior extracción de metadatos y del almacenamiento temporal. En :original, los valores se evalúan para cada subida antes de la extracción de metadatos.

  Los Steps posteriores leen ${file.user_meta.key}. Consulta Metadatos personalizados para ver un ejemplo completo y las reglas de herencia.

• result

  boolean(valor predeterminado: false)

  Indica si los resultados de este Step deben aparecer en el Assembly Status JSON

• queue

  batch

  Establecer la cola en «batch» reduce manualmente la prioridad de los Jobs de este Step para evitar consumir cupos prioritarios con Jobs que no necesitan un tiempo de espera cero en la cola

• force_accept

  boolean(valor predeterminado: false)

  Forzar a un Robot a aceptar un tipo de archivo que habría ignorado.

  De forma predeterminada, los Robots ignoran los archivos que no reconocen. 🤖/video/encode, por ejemplo, ignorará sin problemas las imágenes de entrada.

  Si configuras el parámetro force_accept como true, puedes forzar a los Robots a aceptar todos los archivos que reciban. Esto normalmente provocará errores y solo debe usarse para depuración o para abordar casos extremos.

• ignore_errors

  boolean | Array<meta | import | execute>(valor predeterminado: [])

  Ignorar errores durante fases específicas del procesamiento.

  Establecer este parámetro en ["meta"] hará que el Robot ignore los errores durante la extracción de metadatos.

  Establecer este parámetro en ["execute"] hará que el Robot ignore los errores durante la fase principal de ejecución.

  Establecer este parámetro en ["import"] hará que el Robot ignore los errores al importar el archivo de origen. La fase "import" solo está disponible para los Robots de importación.

  Establecer este parámetro en true equivale a ["meta", "import", "execute"] y hará que se ignoren los errores en las tres fases.

• force_name

  string | Array<string> | null(valor predeterminado: null)

  Nombre personalizado para el archivo o los archivos importados. De forma predeterminada, los nombres de archivo se derivan de la fuente.

• import_on_errors

  Array<meta>(valor predeterminado: [])

  Si estableces este parámetro en ["meta"], el archivo se importará incluso si se producen errores al extraer los metadatos. ignore_errors funciona de forma similar: también ignora el error y evita que el Robot se detenga, pero no importa el archivo.

• credentials

  string

  Crea las credenciales de Template asociadas en tu cuenta de Transloadit y usa el nombre de esas credenciales de Template como valor de este parámetro. Contendrán los valores de bucket, key, secret y bucket_region para S3.

  Aunque recomendamos usar siempre credenciales de Template, algunos casos de uso requieren credenciales dinámicas para las que resulta demasiado engorroso usar credenciales de Template debido a su naturaleza estática. Si tienes este requisito, puedes usar en su lugar los siguientes parámetros: "bucket", "bucket_region" (por ejemplo: "us-east-1" o "eu-west-2"), "key", "secret".

• path — obligatorio

  string | Array<string>

  La ruta de tu bucket al archivo o directorio específico. Si la ruta apunta a un archivo, solo se importará ese archivo. Por ejemplo: images/avatar.jpg.

  Si apunta a un directorio, indicado mediante una barra diagonal al final (/), se importarán todos los archivos que sean descendientes directos de ese directorio. Por ejemplo: images/.

  Los directorios no se importan de forma recursiva. Si quieres importar archivos de subdirectorios y de subdirectorios anidados, habilita el parámetro recursive.

  Si quieres importar todos los archivos del directorio raíz, usa / como valor. En este caso, asegúrate de que todos tus objetos pertenezcan a una ruta. Si tienes objetos en la raíz de tu bucket que no llevan el prefijo /, recibirás este error: A client error (NoSuchKey) occurred when calling the GetObject operation: The specified key does not exist.

  También puedes usar aquí un array de cadenas de rutas para importar varias rutas en el mismo Robot, dentro de su Step.

• recursive

  boolean(valor predeterminado: false)

  Si estableces este parámetro en true, se habilitará la importación de archivos desde los subdirectorios y subdirectorios anidados (etc.) de la ruta indicada.

  Usa con prudencia los parámetros de paginación page_number y files_per_page.

• page_number

  string | number(valor predeterminado: 1)

  El número de página de la paginación. Por ahora, para no afectar la compatibilidad con versiones anteriores en las importaciones no recursivas, esto solo funciona cuando recursive está establecido en true.

  Cuando realices importaciones grandes, asegúrate de que otros scripts no agreguen ni eliminen archivos dentro de tu ruta; de lo contrario, podrías obtener resultados inesperados en la paginación.

• files_per_page

  string | number(valor predeterminado: 1000)

  El tamaño de página de la paginación. Por ahora, esto solo funciona cuando recursive es true, para no afectar la compatibilidad con versiones anteriores en las importaciones no recursivas.

• return_file_stubs

  boolean(valor predeterminado: false)

  Si estableces este parámetro en true, el Robot aún no importará los archivos reales, sino que devolverá un stub de archivo vacío que incluye una URL desde la cual los Robots posteriores podrán importar el archivo. Esto resulta útil cuando los Steps posteriores necesitan mayor control sobre el proceso de importación, como ocurre con 🤖/video/ondemand. Este parámetro solo debe establecerse si todos los Steps posteriores usan Robots compatibles con stubs de archivo.

• range

  string | Array<string>

  Te permite especificar uno o más rangos de bytes para importar desde el archivo. Para que esto funcione, S3 debe admitir solicitudes de rango.

  Rango único: Usa una cadena como "0-99" para importar los bytes 0-99 (los primeros 100 bytes).

  Varios rangos: Usa un array como ["0-99", "200-299"] para importar varios rangos independientes. El archivo resultante contendrá todos los rangos solicitados concatenados, y los espacios entre rangos no contiguos se rellenarán con bytes cero (\0).

  Formatos de rango:

  • "0-99": Bytes desde 0 hasta 99 (inclusive)
  • "100-199": Bytes desde 100 hasta 199 (inclusive)
  • "-100": Los últimos 100 bytes del archivo

  Notas importantes:

  • S3 admite solicitudes de rango de forma predeterminada
  • Se permiten rangos superpuestos y se incluirán según lo solicitado
  • El tamaño del archivo resultante corresponderá a la posición de byte más alta solicitada, y los espacios se rellenarán con bytes cero
  • Cada rango se obtiene mediante una solicitud independiente para garantizar la compatibilidad con S3

Demos

Publicaciones relacionadas del blog