本書では、分散ストリーミングプラットフォームであるApache Kafka（以降、Kafka）を活用したアプリケーションの構築方法を紹介します。

　近年ではスマートフォンやIoTなどの普及からシステムで扱うデータが爆発的に増加しています。これらの大量のデータを「ビッグデータ」と呼んで活用することも盛んになってきました。また、システムの構築方法や構造にフォーカスすると、分散アプリケーションが協調するアーキテクチャを採用する企業も増えています。システムのスケーラビリティや開発のアジリティを高める「マイクロサービス・アーキテクチャ」や、リアルタイムかつ非同期にイベントを処理する「イベント駆動アーキテクチャ」などが代表的です。

　こういった背景の中で、システム間のデータを橋渡ししつつ大量のデータを処理するために採用されているソリューションがKafkaです。開発のプラットフォームであるクラウドベンダー各社はKafkaのマネージドサービス、または互換性のあるAPIを持ったサービスを提供していることからその人気ぶりが分かります。

　しかし、人気が高まっているのにも関わらず日本語で提供されている情報や書籍がまだ少ない状況にあります。特にビジネスの価値を生み出すアプリケーションの構築方法に関する日本語の情報が少ないと感じたことが本書を執筆したモチベーションとなりました。

　本書を読むことで、Kafkaの基本概念と実践的なアプリケーションの構築方法が身につくことを目的としています。皆様のシステム開発およびビジネスに本書の知識が少しでもお役に立てれば幸いです。

対象読者

　本書では以下の読者に向けて執筆されています。どれかひとつでも当てはまる場合は本書が役に立つはずです。

　・Kafka初学者のアプリケーション開発者・アーキテクト

　・リアルタイムのデータ処理に興味のある方

　・イベント駆動アーキテクチャやマイクロサービス・アーキテクチャといった分散アプリケーションの開発に取り組もうとしている方

　・Kafkaの英語チュートリアルに抵抗感がある方

本書の構成

　本書は基本編と応用編の2部で構成されています。

　第1章から第4章は基本編です。

　・第1章ではKafkaの概要を説明します。Kafkaの機能、代表的なユースケース、構成要素を学びます。

　・第2章ではKafkaクラスタの構築とともに、コマンドラインによる基本的なオペレーションを学びます。

　・第3章ではKafkaにイベントを送信するKafkaアプリケーションの作成方法を学びます。

　・第4章ではKafkaからイベントを受信するKafkaアプリケーションの作成方法を学びます。

　第5章以降は応用編です。Kafka特有の機能を活用したアプリケーションの構築方法を紹介します。

　・第5章ではKafkaアプリケーションでトランザクションを扱う方法を説明します。整合性を保ったイベント処理を学びます。

　・第6章ではKafka Connectを使うことで、データシステムとKafkaを容易に接続する方法を学びます。

　・第7章ではKafka Streamsを使うことで、Kafkaのイベントをリアルタイムに処理する方法を学びます。

　本書は興味のある章から読んでも理解できる構成になっています。Kafkaに初めて触れる方は第1章から第4章を順に読むことをお勧めします。

本書で説明しない内容

　本書では基本概念の説明で必要な場合を除き、以下の内容を説明の対象外としています。これらの内容を詳しく知りたい場合は『参考コンテンツ』や別の書籍を参照してください。

　・Kafkaの内部アーキテクチャおよび内部実装の詳細

　・Kafkaアプリケーションのパフォーマンスチューニング方法

　・Kafkaクラスタのデータセンターまたはクラウドへのデプロイ方法

　・Kafka商用サービス固有の機能

本書の前提知識

　・コマンドプロンプトまたはターミナルによるコマンドライン操作経験

　　─Kafkaクラスタをコマンドラインで操作します。

　・GitおよびDockerの基礎知識

　・少なくともひとつのプログラミングに関する基礎知識

　　─本書ではKafkaアプリケーションをJavaで実装します。

　　─ただしPythonやGoといった他の言語でも本書の知識を活用できるように、複雑な知識が要求されるJavaフレームワークは使用しません。

　　─Java以外のプログラミング言語の扱いやクライアントライブラリについては第1章を参照してください。

サンプルコード

　本書に掲載しているソースコードはすべて以下のGitLabのリポジトリで公開しています。各章で構築するKafkaクラスタとアプリケーションの完成版が格納されています。なお、利用するプロダクトやライブラリの更新、および誤字修正のため随時更新される可能性があります。

　https://gitlab.com/ponzmild/ird-starting-kafka-sample

動作環境

　本書に掲載されているソースコードやコマンドは以下の環境で動作確認を行っています。

　・OS ... macOS Monterey (12.4)

　・Java ... OpenJDK 11.0.15

　・Apache Maven ... 3.8.6

　・Docker Desktop ... 4.10.1 (Docker Engine 20.10.17)

　・Visual Studio Code ... 1.69.2

　コンテナの動作にDocker Desktop互換のソフトウェアを使用する場合、本文中の一部のコマンドが動作しない可能性があります。使用されているソフトウェアのドキュメントを参照し、適宜コマンドを読み替えてください。

参考コンテンツ

　本書は以下の書籍およびオンラインコンテンツを参考に執筆しました。本書を呼んで興味を持った内容を深掘りする際にはぜひ参照することをお勧めします。

　・書籍 『Kafka』（オライリー・ジャパン）¹

　・書籍 『Mastering Kafka Streams and ksqlDB』（オライリー・ジャパン）²

　・書籍 『Kafka in Action』（Manning）³

　・Webサイト『Confluent Developer』⁴

　・Webサイト『Confluent Blog』⁵

　・Udemy『Apache Kafka Series - Learn Apache Kafka for Beginners v2』⁶

　・Udemy『Apache Kafka Series - Kafka Connect Hands-on Learning』⁷

底本について

　本書は2020年3月の技術書イベント『技術書典 応援祭』⁸にて頒布した同人誌『Kafkaをはじめる』を底本にしています。Kafkaは同人誌頒布以降も継続的に機能追加やバグ修正が行われています。また、Kafkaを取り巻く状況、ツール、アーキテクチャのトレンドも変化しています。本書は執筆時点の最新状況を取り込み、内容をアップデートしています。

免責事項

　・本書の内容は執筆時点（2022年7月）までの情報をもとに執筆されています。

　・掲載したWebサイト、アプリケーション、サービスは変更される可能性があります。

　・本書の内容によって生じる、直接または間接被害について、著者ならびに弊社では、一切の責任を負いかねます。

表記について

　・本書に記載されている会社名、製品名などは、一般に各社の登録商標または商標、商品名です。会社名、製品名については、本文中では©、®、™マークなどは表示していません。

　・コマンドラインのプロンプトは、"$"、"#" で示されます。

　・実行結果やサンプルコード内を省略している部分は、"..." で表記します。

　・誌面の幅に収まらないコマンドラインの入力は、行末に "\" を入れて改行しています。

謝辞

　本書の執筆の機会および編集に多大なご支援をただきました株式会社インプレスR&Dの山城様には深く御礼申し上げます。また、本書のレビューにご協力いただきました日本アイ・ビー・エム株式会社のKafkaコミュニティの皆様に感謝いたします。皆様から貴重なフィードバックと後押しをいただけたことで無事出版までたどり着くことができました。

　最後に私事ではございますが、執筆期間中そばで支えてくれた家族の協力に心から感謝します。ありがとう。