Importar arquivos do Amazon S3

🤖/s3/import importa diretórios inteiros de arquivos do seu bucket do S3.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "AllowTransloaditToImportFilesIn{BUCKET_NAME}Bucket",
      "Effect": "Allow",
      "Action": ["s3:GetBucketLocation", "s3:ListBucket"],
      "Resource": ["arn:aws:s3:::{BUCKET_NAME}", "arn:aws:s3:::{BUCKET_NAME}/*"]
    }
  ]
}

Exemplo de uso

{
  "steps": {
    "imported": {
      "credentials": "YOUR_AWS_CREDENTIALS",
      "path": "path/to/files/",
      "recursive": true,
      "robot": "/s3/import"
    }
  }
}

Parâmetros

• interpolate

  boolean | Record<string, boolean>

  Controla se as Assembly Variables são interpoladas em campos individuais de instruções.

  Por padrão, a maioria dos campos de instruções dos Robots interpola Assembly Variables. Defina isso como false para tratar todos os campos de instruções como texto literal, ou defina o caminho de um campo individual como false para tratar apenas esse campo como texto literal. Para campos específicos de um Robot que são literais por padrão, defina isso como true ou defina o caminho desse campo como true para voltar a usar a interpolação.

  Use nomes de campos como path ou caminhos com pontos como ffmpeg.vf para objetos aninhados.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Permite especificar um conjunto de metadados cujo cálculo exige mais CPU e que, por isso, vem desativado por padrão para manter o processamento das suas Assemblies rápido.

  Para imagens, você pode adicionar "has_transparency": true neste objeto para extrair se a imagem contém partes transparentes e "dominant_colors": true para extrair um array de códigos de cores hexadecimais da imagem.

  Para imagens, você também pode adicionar "blurhash": true para extrair uma string BlurHash⁠ — uma representação compacta de um placeholder da imagem, útil para exibir uma prévia desfocada enquanto a imagem completa carrega.

  Para vídeos, você pode adicionar o parâmetro "colorspace": true para extrair o espaço de cores do vídeo de saída.

  Para vídeos, você também pode adicionar "interlaced": true para detectar se o vídeo é entrelaçado. Isso combina a flag computacionalmente barata field_order do ffprobe com uma passagem de amostragem idet limitada sobre os primeiros quadros da origem, expondo interlaced, field_order e um objeto de diagnóstico interlace_detection em file.meta. Isso é computacionalmente caro e cobrado de acordo.

  Para áudio, você pode adicionar "mean_volume": true para obter um único valor que representa o volume médio do arquivo de áudio.

  Você também pode definir isso como false para pular a extração de metadados e acelerar a transcodificação.

• user_meta

  Record<string, any>(padrão: {})

  Adiciona metadados JSON personalizados a cada arquivo emitido sem modificar seu conteúdo. Objetos e arrays aninhados são suportados.

  A herança depende do Robot. Os valores são mesclados com o user_meta existente no arquivo de saída; o Step atual substitui as chaves de nível superior com o mesmo nome. Atribua explicitamente as chaves necessárias quando um Robot criar novas saídas.

  Nos Steps de processamento, ${file.*} se refere à primeira entrada e ${result.*} ao arquivo emitido. Os valores são avaliados para cada saída após a execução do Robot, antes da extração subsequente de metadados e do armazenamento temporário. Em :original, os valores são avaliados para cada upload antes da extração de metadados.

  Os Steps subsequentes leem ${file.user_meta.key}. Consulte Metadados personalizados para ver um exemplo completo e as regras de herança.

• result

  boolean(padrão: false)

  Se os resultados deste Step devem estar presentes no Assembly Status JSON

• queue

  batch

  Definir a fila como “batch” rebaixa manualmente a prioridade dos Jobs deste Step, para evitar o consumo de vagas prioritárias de Jobs em Jobs que não precisam de tempo zero de espera na fila

• force_accept

  boolean(padrão: false)

  Forçar um Robot a aceitar um tipo de arquivo que ele teria ignorado.

  Por padrão, os Robots ignoram arquivos que não conhecem. O 🤖/video/encode, por exemplo, ignora tranquilamente imagens de entrada.

  Com o parâmetro force_accept definido como true, você pode forçar os Robots a aceitar todos os arquivos enviados a eles. Isso normalmente leva a erros e só deve ser usado para depuração ou para lidar com casos extremos.

• ignore_errors

  boolean | Array<meta | import | execute>(padrão: [])

  Ignorar erros durante fases específicas do processamento.

  Definir isso como ["meta"] fará com que o Robot ignore erros durante a extração de metadados.

  Definir isso como ["execute"] fará com que o Robot ignore erros durante a fase principal de execução.

  Definir isso como ["import"] fará com que o Robot ignore erros ao importar o arquivo de origem. A fase "import" está disponível apenas para Robots de importação.

  Definir isso como true equivale a ["meta", "import", "execute"] e fará com que erros sejam ignorados nas três fases.

• force_name

  string | Array<string> | null(padrão: null)

  Nome personalizado para o(s) arquivo(s) importado(s). Por padrão, os nomes dos arquivos são derivados da origem.

• import_on_errors

  Array<meta>(padrão: [])

  Definir isso como ["meta"] ainda importa o arquivo quando ocorrem erros de extração de metadados. ignore_errors é parecido: também ignora o erro e garante que o Robot não pare, mas não importa o arquivo.

• credentials

  string

  Crie as credenciais de Template correspondentes na sua conta da Transloadit e use o nome das suas credenciais de Template como valor deste parâmetro. Elas conterão os valores de bucket, key, secret e bucket_region do seu S3.

  Embora recomendemos sempre usar credenciais de Template, alguns casos de uso exigem credenciais dinâmicas, para os quais o uso de credenciais de Template é pouco prático devido à sua natureza estática. Se você tiver essa necessidade, pode usar os seguintes parâmetros no lugar delas: "bucket", "bucket_region" (por exemplo: "us-east-1" ou "eu-west-2"), "key", "secret".

• path — obrigatório

  string | Array<string>

  O caminho no seu bucket para o arquivo ou diretório específico. Se o caminho apontar para um arquivo, apenas esse arquivo será importado. Por exemplo: images/avatar.jpg.

  Se apontar para um diretório, indicado por uma barra no final (/), todos os arquivos diretamente contidos nesse diretório serão importados. Por exemplo: images/.

  Os diretórios não são importados recursivamente. Se quiser importar arquivos de subdiretórios e dos subdiretórios deles, habilite o parâmetro recursive.

  Se quiser importar todos os arquivos do diretório raiz, use / como valor aqui. Nesse caso, certifique-se de que todos os seus objetos pertençam a um caminho. Se houver objetos na raiz do seu bucket que não tenham o prefixo /, você receberá um erro: A client error (NoSuchKey) occurred when calling the GetObject operation: The specified key does not exist.

  Você também pode usar um array de strings de caminhos aqui para importar vários caminhos no mesmo Step do Robot.

• recursive

  boolean(padrão: false)

  Definir este parâmetro como true permitirá importar arquivos de subdiretórios e dos subdiretórios deles (etc.) no caminho especificado.

  Use os parâmetros de paginação page_number e files_per_page com cuidado aqui.

• page_number

  string | number(padrão: 1)

  O número da página de paginação. Por enquanto, para não quebrar a compatibilidade com versões anteriores em importações não recursivas, isso só funciona quando recursive está definido como true.

  Ao fazer importações grandes, certifique-se de que outros scripts não adicionem nem removam arquivos no seu caminho; caso contrário, a paginação poderá apresentar resultados inesperados.

• files_per_page

  string | number(padrão: 1000)

  O tamanho da página de paginação. Por enquanto, isso só funciona quando recursive é true, para não quebrar a compatibilidade com versões anteriores em importações não recursivas.

• return_file_stubs

  boolean(padrão: false)

  Se definido como true, o Robot ainda não importará os arquivos em si, e em vez disso retornará um stub de arquivo vazio que inclui uma URL a partir da qual o arquivo pode ser importado por Robots subsequentes. Isso é útil em casos em que os Steps subsequentes precisam de mais controle sobre o processo de importação, como acontece com o 🤖/video/ondemand. Este parâmetro só deve ser definido se todos os Steps subsequentes usarem Robots que suportem stubs de arquivo.

• range

  string | Array<string>

  Permite especificar um ou mais intervalos de bytes para importar do arquivo. O S3 precisa oferecer suporte a requisições de intervalo para que isso funcione.

  Intervalo único: use uma string como "0-99" para importar os bytes de 0 a 99 (os primeiros 100 bytes).

  Múltiplos intervalos: use um array como ["0-99", "200-299"] para importar vários intervalos separados. O arquivo resultante conterá todos os intervalos solicitados concatenados, com bytes de valor zero (\0) preenchendo as lacunas entre intervalos não contíguos.

  Formatos de intervalo:

  • "0-99": bytes de 0 a 99 (inclusive)
  • "100-199": bytes de 100 a 199 (inclusive)
  • "-100": os últimos 100 bytes do arquivo

  Observações importantes:

  • O S3 oferece suporte a requisições de intervalo por padrão
  • Intervalos sobrepostos são permitidos e serão incluídos conforme solicitado
  • O tamanho do arquivo resultante será a maior posição de byte solicitada, com as lacunas preenchidas com bytes de valor zero
  • Cada intervalo é obtido em uma requisição separada para garantir a compatibilidade com o S3

Demonstrações

Publicações relacionadas no blog