オンプレサーバ(kubernetes)のログをDatabricks on AWS側に蓄積する機能開発案件

案件概要

オンプレミスKubernetesのログデータをDatabricks on AWSのbronzeテーブルに転送・蓄積するデータ送信基盤の設計・構築を行います。 ・アーキテクチャ検討（Fluentd、Kafka等） ・基盤パラメータ設計、非機能要件の検討（性能・耐障害設計） ・顧客運用ルールに合わせた基盤構築作業 ・テスト計画策定、テストケース設計、準備・実施 ・各種ドキュメント作成（要件定義書、基本/詳細設計書、パラメータシート、テスト計画/結果、運用設計書等）

必須スキル

• Linuxサーバの構築経験
• 「dbt」「Snowflake」「Fivetran」「Tableau」等の知見
• 基本的なネットワーク知識（TCP/IP、ルーティングなど）
• syslog、Fluentd、Kafka、Kubernetesに対する基本的な技術理解
• 顧客インフラ担当者と具体的な基盤構築要件を詰められるコミュニケーション力

尚可スキル

• syslog、Fluentd、Kafkaに類するログ転送処理の機能設計・開発経験
• 非機能要件を考慮した基盤設計の知見（2TB/日のデータ転送に耐えうる性能・耐障害設計）
• AWSネットワーク知見（AWS Direct Connect、AWS Transit Gateway、AWS VPCなど）
• Databricks on AWSに関する知見