Appearance
file in abyssを公開しました
ファイル形式を調べるための開発者向けリファレンスとして、file in abyss を公開しました。
ファイルアップロード、プレビュー生成、変換処理、ウイルススキャン前の事前判定などを実装していると、拡張子や Content-Type だけでは判断しきれない場面があります。 そのようなときに、マジックナンバー、MIMEタイプ、ファイル構造、注意点、サンプルファイルをまとめて確認できる場所があると便利です。
file-in-abyss.soga-web.studio
file in abyss
マジックナンバー、MIMEタイプ、ファイル構造、判定コード、ダウンロード可能なサンプルファイルをまとめた開発者向けリファレンスです。
file-in-abyss.soga-web.studio
file in abyssとは
file in abyssは、ファイル形式の判定や検証に必要な情報をまとめたWebサービスです。
現在は画像、文書、アーカイブ、音声、動画、3D、データ、Web、実行ファイルなどを含む50フォーマットを掲載しています。 各フォーマットページでは、次の情報を確認できます。
- 拡張子
- MIMEタイプ
- マジックナンバー
- ファイル構造
- 判定コード
- 誤検出やセキュリティ上の注意点
- ダウンロード可能なサンプルファイル
たとえばPNGであれば、先頭8バイトのシグネチャ、IHDR や IDAT などの構造、Python / JavaScript / Go / Rust / PHPでの判定例、実装時に気をつけるべき点を1ページで確認できます。
ブラウザ内でファイルを解析できる
トップページとツールページには、ファイルをブラウザ内で解析する機能を用意しています。
選択したファイルはサーバーにアップロードされません。 ブラウザがローカルで先頭の数キロバイトを読み取り、既知のマジックナンバーと照合します。
手元のファイルが想定した形式になっているかを軽く確認したいときや、拡張子と実体が一致しているかを見たいときに使えます。
サンプルファイルを提供している
file in abyssでは、各フォーマットのサンプルファイルも提供しています。 現在は50フォーマットに対して542ファイルを掲載しています。
ファイル処理の実装では、仕様を読むだけではなく実際のファイルで試すことが重要です。 小さいファイル、大きいファイル、解像度が異なる画像、長さが異なる音声や動画などを使って確認することで、実装上の見落としに気づきやすくなります。
サンプルページでは、ファイルサイズ、解像度、出典、ライセンス、SHA-256ハッシュも確認できます。 検証用データとして使いやすいように、ダウンロードリンクもフォーマットごとに整理しています。
開発者ツールも用意
ファイル形式のリファレンスに加えて、開発中に使いやすい小さなツールも用意しました。
- ファイルアナライザー
- Base64エンコード / デコード
- ハッシュ計算
- MIMEタイプ検索
- Hexビューア
いずれもブラウザ内で動作します。 ファイルを外部サービスへアップロードせずに、手元で確認したい用途を想定しています。
どんな場面で使えるか
file in abyssは、次のような実装や調査で使えます。
- アップロードファイルの形式判定を実装したい
- 拡張子ではなくファイル先頭のバイト列を確認したい
- MIMEタイプと実体の差分を調べたい
- テスト用の画像、PDF、ZIP、音声、動画などを探したい
- ファイル形式ごとの構造や注意点を素早く確認したい
- 判定処理のサンプルコードを見ながら実装したい
特に、アップロード機能や変換処理を持つアプリケーションでは、ファイル名やMIMEタイプを信頼しすぎないことが重要です。 file in abyssは、その確認作業の入口として使えるように作っています。
まとめ
file in abyssは、ファイル形式のマジックナンバー、構造、MIMEタイプ、サンプルファイルを一か所で確認できる開発者向けツールです。
ファイル判定の実装、サンプルデータ探し、バイナリ構造の確認などで使えるように、今後も掲載フォーマットやサンプルを増やしていく予定です。