Ruby でのファイルフィルタリング実践ガイド
ログ処理からメディア管理まで、効率的なファイルフィルタリングは欠かせません。Ruby には、単純なパターンマッチングにとどまらない強力なファイル選択ツールがあります。基本的な用途から高度な用途まで対応できる、実用的な手法を見ていきます。
前提条件
以下の例は、Ruby 3.4.10 と mime-types 3.6.0 を使用し、mime-types-data 3.2024.0806 のレジストリでテストしています。新規プロジェクトでは、保守中の Ruby リリースを使用してください。mime-types gem が必要なのは MIME 検索の例だけです。既存の Bundler プロジェクトでは、次を追加します。
# Add to your Gemfile
gem 'mime-types', '3.6.0'
bundle install を実行してから、bundle exec ruby script.rb でスクリプトを実行します。Bundler を使用しない場合は、同じバージョンを直接インストールします。
gem install mime-types -v 3.6.0
Ruby の例を .rb ファイルに保存し、ruby script.rb で実行します。例のディレクトリは実際のパスに置き換えてください。結果は配列または列挙子です。p で内容を確認できます。たとえば、p recent_images を、完全な FileFilter の例の後に追加します。
mime-types gem は、API の変更とレジストリデータの更新の両方を追跡するために、修正したセマンティックバージョニングを採用しています。詳しくは、mime-types のドキュメントを参照してください。
基本的なフィルタリング手法
Ruby の標準ライブラリには、すぐに使えるファイルフィルタリングの手段がいくつかあります。
# Filter by extension
docs_dir = '/docs'
pdf_files = Dir.children(docs_dir).select do |f|
File.file?(File.join(docs_dir, f)) && File.extname(f) == '.pdf'
end
# Filter by size (1MB threshold)
large_files = Dir.glob('*').select do |f|
begin
File.file?(f) && File.size(f) > 1_000_000
rescue Errno::ENOENT, Errno::EACCES => e
warn "Error accessing #{f}: #{e.message}"
false
end
end
# Filter by modification time (last 24 hours)
recent_files = Dir.glob('*').select do |f|
begin
File.file?(f) && File.mtime(f) > (Time.now - 86400)
rescue Errno::ENOENT, Errno::EACCES => e
warn "Error accessing #{f}: #{e.message}"
false
end
end
これらの手法は File クラスのユーティリティを使い、ファイルの内容を読み込まずにすばやく判定します。拡張子の判定では、docs_dir からの相対名を返し、大文字と小文字を区別します。glob の例は、現在の作業ディレクトリからの相対パスを返し、ドットファイルを除外します。File.file? はディレクトリを除外しますが、通常のファイルへのシンボリックリンクはたどります。これらの判定は、ファイルシステムのサンドボックスとしては機能しません。時刻のフィルターは下限だけを指定しているため、未来の日時を持つファイルも一致します。
glob による高度なパターンマッチング
Ruby の Dir.glob は、UNIX 形式のパターンマッチングに加え、Ruby 独自の拡張機能もサポートしています。
# Match nested Markdown files
markdown_files = Dir.glob('**/*.md').select { |f| File.file?(f) }
# Match names containing a January 2024 date (not modification times)
jan_files = Dir.glob('*').grep(/(2024-01-\d{2})/).select { |f| File.file?(f) }
# Combined size and type filter
big_images = Dir.glob('*.{jpg,png}').select do |f|
begin
File.file?(f) && File.size(f) > 500_000
rescue Errno::ENOENT, Errno::EACCES => e
warn "Error accessing #{f}: #{e.message}"
false
end
end
ディレクトリの再帰的な探索には二重アスタリスク(**)を、複数の拡張子の指定にはブレース展開を使用します。
MIME タイプの検索
mime-types gem を使うと、ファイル名の拡張子に対応するメディアタイプを検索できます。
require 'mime/types'
def media_files(dir)
Dir.children(dir).select do |f|
begin
next unless File.file?(File.join(dir, f))
MIME::Types.type_for(f).any? do |mime|
mime.media_type == 'image' || mime.media_type == 'video'
end
rescue StandardError => e
warn "Error processing #{f}: #{e.message}"
false
end
end
end
# Usage:
visual_assets = media_files('/content/assets')
この方法は拡張子のレジストリを参照するもので、ファイルの内容を調べたり、ファイルの安全性を検証したりするものではありません。ファイル名に複数のタイプが登録されている場合もあります。たとえば、.mp4 には、テストに使用したレジストリで
application と video の両方の一致があります。すべての一致を調べれば、最初の一致が動画タイプでないという理由だけで除外せずに済みます。ただし、それでもファイルに動画が含まれている証明にはなりません。信頼できないアップロードを受け付ける場合は、別途コンテンツを検査してください。詳しくは、mime-types gem のドキュメントを参照してください。
メタデータによるフィルタリング
複数のメタデータを組み合わせると、より厳密に選択できます。
def recent_documents(path)
Dir.glob('*', base: path).map { |name| File.join(path, name) }.select do |f|
begin
next unless File.file?(f)
ext = File.extname(f).downcase
size = File.size(f)
modified = File.mtime(f)
(ext == '.pdf' || ext == '.docx') &&
size.between?(10_000, 5_000_000) &&
modified > (Time.now - 7*86400)
rescue StandardError => e
warn "Error processing #{f}: #{e.message}"
false
end
end
end
この例では、path の直下にある PDF/DOCX ファイルのうち、サイズが 10,000 バイト以上 5,000,000 バイト以下のものを選択します。拡張子の大文字と小文字は区別しません。更新日時がちょうど七日前のファイルは除外されます。ディレクトリを base: として渡すことで、その名前に含まれる [ などの文字が glob パターンに入り込むのを防ぎます。
パフォーマンス上の考慮事項
大きなディレクトリを処理する際は、次の点を考慮してください。
-
遅延評価:
lazyでメタデータの判定を遅延させます。ただし、Dir.globは結果の配列を構築します。Dir.glob('**/*').lazy .select { |f| File.file?(f) && File.size(f) > 1_000_000 } .first(10) -
早期終了:可能な場合は
breakで早めに処理を打ち切るlog_dir = '/logs' Dir.children(log_dir).each do |name| f = File.join(log_dir, name) begin next unless File.file?(f) && f.end_with?('.log') break if File.size(f) > 1_000_000_000 # Stop at first huge log process_log(f) rescue StandardError => e warn "Error processing #{f}: #{e.message}" end endこの抜粋を実行する前に、アプリケーションの処理に合わせて
process_log(path)を定義してください。 -
メタデータのキャッシュ:頻繁にアクセスするデータを保存する
file_cache = {} Dir.glob('*').each do |f| begin file_cache[f] = { mtime: File.mtime(f), size: File.size(f) } rescue StandardError => e warn "Error caching #{f}: #{e.message}" end end
本番運用向けの例
この再利用可能なセレクターは、指定したディレクトリ配下のパスを列挙子として返します。
class FileFilter
def initialize(root_dir)
@root = root_dir
end
def find_files(extensions: [], min_size: 0, max_age: Float::INFINITY)
Dir.glob('**/*', base: @root).lazy.map { |name| File.join(@root, name) }.select do |path|
begin
next unless File.file?(path)
valid_extension = extensions.empty? || extensions.include?(File.extname(path))
valid_size = File.size(path) >= min_size
valid_age = (Time.now - File.mtime(path)) < max_age
valid_extension && valid_size && valid_age
rescue StandardError => e
warn "Error processing #{path}: #{e.message}"
false
end
end
end
end
# Usage:
filter = FileFilter.new('/user/uploads')
recent_images = filter.find_files(
extensions: ['.jpg', '.png'],
min_size: 100_000,
max_age: 3600 # 1 hour
).first(100)
この使用例では、.jpg または .png のパスのうち、サイズが 100,000 バイト以上で、更新から一時間未満のものを最大 100 件選択します。ここでは拡張子の大文字と小文字を区別します。検索時には glob の配列が構築されます。lazy が遅延させるのはメタデータの判定であり、探索ではありません。隠しファイルは除外し、ファイルへのシンボリックリンクはたどりますが、シンボリックリンク先のディレクトリを再帰的に探索することはありません。ルートディレクトリが存在しない場合、一致するものはありません。選択後にファイルが変わる可能性があるため、開く際にも改めてエラーを処理してください。
ファイル名のエンコーディングの扱い
UTF-8 を使用する場合、Ruby は通常、ファイル名のエンコーディングを自動的に処理します。ただし、ファイル名の非 ASCII 文字で問題が発生する場合は、次のように UTF-8 の表示用の値を作成します。
# Convert from Ruby's known source encoding and replace invalid bytes for display
utf8_labels = Dir.glob('*').map do |f|
f.encode('UTF-8', invalid: :replace, undef: :replace).scrub
end
ファイルシステムの操作には元のパスを使用してください。置換文字によってファイル名が変わることがあるため、これらのラベルは表示専用です。force_encoding はバイト列のエンコーディング指定を変更するだけで、文字コードの変換は行いません。
まとめ
このガイドでは、単純な拡張子の判定や glob パターンから、ファイル名に基づく MIME 検索、メタデータによるフィルタリングまで、Ruby でファイルを絞り込む実用的な手法を紹介しました。これらを組み合わせることで、要件に合った効率的なファイル処理パイプラインを構築できます。大規模な本番運用向けのソリューションが必要な場合は、Transloadit が提供する堅牢なファイル処理 API もご検討ください。詳しくは、ドキュメントをご覧ください。
