Datadog Summit Tokyo 2025 参加レポート
こんにちは。SREの菊池宣明です。
先日開催されたDatadog Summit Tokyo 2025に参加してきました。業務ではDatadogを利用することが多いので、最新技術の動向や事例を把握するために参加しました。
Datadog Summit Tokyo 2025 とは
Datadog Summit Tokyo 2025は、Datadogが主催する日本最大級のカンファレンスです。最新のモニタリング技術、AIを活用した運用自動化、セキュリティのベストプラクティスなど現場のエンジニアが直面する課題に対する実践的な知見が共有されるイベントとなっています。
公式サイト: https://events.datadoghq.com/ja/summits/datadog-summit-tokyo
セッション全体を通して
今回のサミットでは、特に2つの重要なテーマが印象的でした。1つ目はLLMを活用したプロダクトの信頼性向上、2つ目はWebアプリケーションのセキュリティ対策です。
LLM製品の信頼性向上
IVRyの森谷さんによるブレイクアウトセッションでは、実際にLLMを活用した対話型音声AIを運用する上での課題と対策が紹介されていました。
主な課題と対策
1. ハルシネーションの抑制
LLMは時として事実と異なる内容を生成してしまうことがあります。例えば、「30人で予約したい」という問い合わせに対して、日付を確認せずに「明日お待ちしています」と答えてしまうケースです。
この課題に対して、「困難は分割する」というアプローチを紹介していました。複雑なタスクを小さなLLMコンポーネントに分割し、AIワークフローで処理することで各コンポーネントの精度を高めるというアプローチです。また、事前に定義したインプット/アウトプットペアを定期的に監視し、出力の一貫性を確保しているとのことでした。
2. 会話速度の安定化
自然な会話体験を実現するには、発話のレスポンス速度が重要です。高精度な応答を返せるLLMモデルもありますが、その分応答が遅延するというケースも存在します。そこでIVRyでは、最新のモデルを追いかけるのではなく、自社のユースケースに最適なモデルを選ぶことを重視しているとの紹介がありました。また、DatadogのAPM機能でバックエンド通信を網羅的に監視し、レスポンス速度を把握しているとの説明がありました。
3. 耐障害性の確保
LLM APIは時として不安定になることがあります。この課題に対して、IVRyではLLMフォールバック戦略を実装していると紹介がありました。メインAPIのほかにフォールバック用のAPIも設定し、一方が応答しない場合は自動的に切り替わる仕組みを構築しているとのことです。
セッションで学んだこと
このセッションを通じて、LLMを活用したプロダクトの信頼性向上には技術的な工夫だけでなく適切なモニタリングが不可欠であることを学びました。また、問題を小さく分割して対処するアプローチや、複数のフォールバック戦略を用意することの重要性を実感しました。これらは今後プロダクトにLLMを組み込む際の参考になると感じました。
Webアプリケーションセキュリティ
「Web アプリケーションのハッキング: 初期の情報収集からコード レベルの攻撃まで」というワークショップに参加しました。このワークショップでは実際に攻撃者の視点を体験しながら、Datadog Application Security Monitoringの使い方を学びました。
DatadogのApplication Security機能の特徴
- 実際にアプリケーションへ到達したリクエストの挙動を監視（IDS/IPS機能）
- SQLインジェクション攻撃などパターンを自動的に検知して分類
- IPアドレスやユーザーIDを使用して攻撃者を特定しブロックすることが可能
ハンズオンで学んだこと
ワークショップではNode.jsアプリケーションに対してNiktoスキャナーツールを使用した脆弱性スキャン、SSRF攻撃の実行と検知などを実際に体験しました。
特に印象的だったのはDatadogのAPM機能を活用することで、どのアプリケーションのどの部分に脆弱性があり、攻撃が届く状態になっているかが可視化される点でした。これにより、問題を発見した際に各チームへの共有を手軽に行うことができ、初動を迅速に進められると感じました。
全体を通しての感想
LLMを活用したプロダクトの信頼性向上やWebアプリケーションのセキュリティ対策について、実践的な知見を得ることができました。特に印象的だったのは、LLMのモニタリングからセキュリティ対策まで全てをDatadog上で完結できる点です。複数のツールを使い分けると学習コストや調査時間がかかりますが、Datadogなら一つのプラットフォームで対応できるため効率的に運用できると感じました。今後も積極的にこうした学びを取り入れ、日々の業務に活かしていきたいと思います。
