本書は、AIおよび機械学習の次世代標準として注目されるデータフォーマット「Lance Format」の解説書です。テキスト、画像、音声、動画といった多様なモダリティを統合管理する「マルチモーダル・レイクハウス」の概念から、具体的な実装手法までを網羅しています。従来のデータ分析用フォーマットでは困難だった、局所的なデータの高速ランダムアクセスや頻繁な特徴量更新を、Lanceがいかに解決するかを丁寧に解説します。Apache Arrowネイティブな設計によるゼロコピー処理や、Python SDKを用いた実践的なデータ操作、さらにHugging FaceやRayといった最新エコシステムとの連携についても詳しく紹介しています。大規模なAIモデルの訓練データ管理に課題を感じているエンジニアや、マルチモーダルデータの効率的なパイプラインを構築したい開発者にとって、まさに必携の一冊と言えるでしょう。本書を通じて、AI/ML分野における新たなデータ基盤の可能性を体感してください。
【目次】
はじめに
第1章 Lance Formatについて
第2章 Lance Formatに対する操作
第3章 Lance Formatでデータ分析
第4章 MLにおけるLance Format
第5章 Arrow-NativeとLance Format
著者紹介・あとがき
-
2.1 タイムトラベル機能
-
2.2 Data Evolution実践
-
2.3 ランダムアクセス実践
-
2.4 JSONデータ操作実践
-
2.5 LanceのDataの削除について
-
3.1 Hugging Faceでのデータセット提供
-
3.2 Hugging Faceのデータセットでのオペレーション
-
3.3 Lanceでデータ抽出する際の留意点
-
3.4 Lance Namespace
-
3.5 バッチ読み込み
-
3.6 フィルタリングの使い分け
-
3.7 BlobデータのDataset
-
3.8 Lance Formatの地図データセット
-
3.9 Lanceとクエリエンジンの組み合わせ
-
3.10 LanceのVector index
-
3.11 LanceのFTS index
-
4.1 Feature Engineering
-
4.2 MLのトレーニングに関する概要
-
4.3 訓練データの解説
-
4.4 既存ツール（Parquetからpandas、NumPy）での実践と不便な点
-
4.5 Lance FormatでのML向けデータ作成オペレーション紹介
-
4.6 Lance DatasetのTraining向けコード実行
-
4.7 Lance DatasetのMultimodal Training向けコード実行
-
4.8 Lance-Ray実践
-
4.9 CPUとGPUで分けるべき処理
-
4.10 MacのUnified Memoryならではの考慮
-
5.1 Apache Arrowの概要
-
5.2 Apache Arrowに関する技術群の紹介
-
5.3 Arrowエコシステムを活用したソリューション例
-
5.4 Lance Formatにおける分散処理のアプローチ
-
5.5 Arrowエコシステムが描くMLパイプライン
試し読み
試し読み
