Transcrever fala em arquivos de áudio ou vídeo

🤖/speech/transcribe transcreve a fala em arquivos de áudio ou vídeo.

{
  "steps": {
    "transcribed": {
      "use": ":original",
      "robot": "/speech/transcribe",
      "provider": "aws",
      "format": "json",
      "speaker_labels": true,
      "max_speakers": 3
    }
  }
}

{
  "text": "Hello there. Hi!",
  "words": [
    { "text": "Hello", "startTime": 0, "endTime": 0.5, "speaker": "speaker_1" },
    { "text": "there", "startTime": 0.6, "endTime": 1, "speaker": "speaker_1" },
    { "text": "Hi!", "startTime": 1.2, "endTime": 1.8, "speaker": "speaker_2" }
  ],
  "segments": [
    { "text": "Hello there", "startTime": 0, "endTime": 1, "speaker": "speaker_1" },
    { "text": "Hi!", "startTime": 1.2, "endTime": 1.8, "speaker": "speaker_2" }
  ]
}

Exemplo de uso

{
  "steps": {
    "transcribed": {
      "format": "text",
      "provider": "replicate",
      "robot": "/speech/transcribe",
      "target_language": "french",
      "use": ":original"
    }
  }
}

Parâmetros

• interpolate

  boolean | Record<string, boolean>

  Controla se as Assembly Variables são interpoladas em campos individuais de instruções.

  Por padrão, a maioria dos campos de instruções dos Robots interpola Assembly Variables. Defina isso como false para tratar todos os campos de instruções como texto literal, ou defina o caminho de um campo individual como false para tratar apenas esse campo como texto literal. Para campos específicos de um Robot que são literais por padrão, defina isso como true ou defina o caminho desse campo como true para voltar a usar a interpolação.

  Use nomes de campos como path ou caminhos com pontos como ffmpeg.vf para objetos aninhados.

• output_meta

  Record<string, boolean> | boolean | Array<string>

  Permite especificar um conjunto de metadados cujo cálculo exige mais CPU e que, por isso, vem desativado por padrão para manter o processamento das suas Assemblies rápido.

  Para imagens, você pode adicionar "has_transparency": true neste objeto para extrair se a imagem contém partes transparentes e "dominant_colors": true para extrair um array de códigos de cores hexadecimais da imagem.

  Para imagens, você também pode adicionar "blurhash": true para extrair uma string BlurHash⁠ — uma representação compacta de um placeholder da imagem, útil para exibir uma prévia desfocada enquanto a imagem completa carrega.

  Para vídeos, você pode adicionar o parâmetro "colorspace": true para extrair o espaço de cores do vídeo de saída.

  Para vídeos, você também pode adicionar "interlaced": true para detectar se o vídeo é entrelaçado. Isso combina a flag computacionalmente barata field_order do ffprobe com uma passagem de amostragem idet limitada sobre os primeiros quadros da origem, expondo interlaced, field_order e um objeto de diagnóstico interlace_detection em file.meta. Isso é computacionalmente caro e cobrado de acordo.

  Para áudio, você pode adicionar "mean_volume": true para obter um único valor que representa o volume médio do arquivo de áudio.

  Você também pode definir isso como false para pular a extração de metadados e acelerar a transcodificação.

• user_meta

  Record<string, any>(padrão: {})

  Adiciona metadados JSON personalizados a cada arquivo emitido sem modificar seu conteúdo. Objetos e arrays aninhados são suportados.

  A herança depende do Robot. Os valores são mesclados com o user_meta existente no arquivo de saída; o Step atual substitui as chaves de nível superior com o mesmo nome. Atribua explicitamente as chaves necessárias quando um Robot criar novas saídas.

  Nos Steps de processamento, ${file.*} se refere à primeira entrada e ${result.*} ao arquivo emitido. Os valores são avaliados para cada saída após a execução do Robot, antes da extração subsequente de metadados e do armazenamento temporário. Em :original, os valores são avaliados para cada upload antes da extração de metadados.

  Os Steps subsequentes leem ${file.user_meta.key}. Consulte Metadados personalizados para ver um exemplo completo e as regras de herança.

• result

  boolean(padrão: false)

  Se os resultados deste Step devem estar presentes no Assembly Status JSON

• queue

  batch

  Definir a fila como “batch” rebaixa manualmente a prioridade dos Jobs deste Step, para evitar o consumo de vagas prioritárias de Jobs em Jobs que não precisam de tempo zero de espera na fila

• force_accept

  boolean(padrão: false)

  Forçar um Robot a aceitar um tipo de arquivo que ele teria ignorado.

  Por padrão, os Robots ignoram arquivos que não conhecem. O 🤖/video/encode, por exemplo, ignora tranquilamente imagens de entrada.

  Com o parâmetro force_accept definido como true, você pode forçar os Robots a aceitar todos os arquivos enviados a eles. Isso normalmente leva a erros e só deve ser usado para depuração ou para lidar com casos extremos.

• ignore_errors

  boolean | Array<meta | execute>(padrão: [])

  Ignorar erros durante fases específicas do processamento.

  Definir isso como ["meta"] fará com que o Robot ignore erros durante a extração de metadados.

  Definir isso como ["execute"] fará com que o Robot ignore erros durante a fase principal de execução.

  Definir isso como true equivale a ["meta", "execute"] e fará com que erros sejam ignorados nas duas fases.

• use

  string | Array<string> | Array<object> | object

  Especifica quais Steps usar como entrada.

  • Você pode escolher qualquer nome para os Steps, exceto ":original" (reservado para uploads de usuários tratados pela Transloadit)
  • Você pode fornecer vários Steps como entrada usando arrays:

    {
      "use": [
        ":original",
        "encoded",
        "resized"
      ]
    }
    

  • Você também pode marcar os Steps de entrada com as para transmitir intenção semântica aos Robots:

    {
      "use": [
        {
          "name": ":original",
          "as": "image"
        },
        {
          "name": ":original",
          "as": "mask"
        }
      ]
    }
    

  Dica

  Provavelmente é tudo o que você precisa saber sobre use, mas você pode ver os casos de uso avançados.

• provider

  auto | aws | gcp | replicate(padrão: "auto")

  Escolhe o melhor provedor com base na sua solicitação.

  Defina isso como "aws", "gcp" ou "replicate" para forçar um provedor específico. Quando definido como "auto", a Transloadit usa "replicate" por padrão e usa "aws" quando speaker_labels está ativado.

• granularity

  full | list(padrão: "full")

  Atualmente, tanto "full" quanto "list" retornam a mesma resposta completa de transcrição. "list" continua sendo aceito para manter a compatibilidade com versões anteriores.

• format

  json | meta | srt | text | webvtt(padrão: "json")

  Formato de saída da transcrição.

  • "text" gera um arquivo de texto simples que você pode armazenar e processar.
  • "json" gera um arquivo JSON com palavras acompanhadas de marcações de tempo. Quando speaker_labels está habilitado, as palavras podem incluir rótulos speaker e o JSON também pode incluir segments agrupados por falante.
  • "srt" e "webvtt" geram arquivos de legendas desses respectivos tipos, que podem ser armazenados separadamente ou usados em outros Steps de codificação.
  • "meta" não retorna um arquivo, mas armazena os dados no objeto de arquivo da Transloadit (em ${file.meta.transcription.text}, ${file.meta.transcription.words} e, quando há rótulos de falantes disponíveis, ${file.meta.transcription.segments}), que é passado entre os Steps de codificação, para que você possa usar os valores para gravar os dados em vídeos, filtrar com base neles etc.

• speaker_labels

  boolean(padrão: false)

  Quando habilitado, a Transloadit solicita ao provedor de transcrição que diferencie os falantes. As saídas JSON e meta podem então incluir rótulos speaker, como "speaker_1", em palavras individuais, além de segments agrupados por falante. O comportamento das saídas de texto, SRT e WebVTT permanece inalterado.

  Os rótulos de falantes identificam vozes recorrentes, não nomes reais de pessoas. A precisão depende da qualidade do áudio, do ruído de fundo, da sobreposição de falas e do número de falantes.

• max_speakers

  string | number(padrão: 10)

  O número máximo de falantes a detectar quando speaker_labels está habilitado.

• source_language

  string(padrão: "en-US")

  Define o idioma falado para os provedores "aws" e "gcp". A transcrição permanece no idioma falado; este parâmetro não traduz a fala.

  O idioma deve ser especificado no formato BCP-47⁠, como "en-GB", "de-DE" ou "fr-FR". Consulte também a lista de idiomas compatíveis com o provedor gcp⁠ e o provedor aws⁠.

• target_language

  string

  Define uma indicação do idioma falado para o provedor "replicate". Omita este parâmetro para detectar o idioma falado automaticamente. Quando o idioma falado for conhecido, defina o parâmetro com o nome completo do idioma em inglês e em letras minúsculas, como "french". Apesar do nome, este parâmetro não traduz a fala.

  Para os provedores "aws" e "gcp", use source_language em vez deste parâmetro.

Demonstrações

Publicações relacionadas no blog