■案件内容:
ライブ配信事業における、Youtubeのデータ取得バッチ基盤リファクタリングおよびdbt移行に携わって頂きます。
目的
- StepFunctionsベースの既存バッチをk8sコンテナベース構成へ移行
- バッチシステムからdbt部分の分離
- 既存運用負荷軽減・可読性向上
業務内容
- Youtubeの既存バッチの保守
- StepFunction管理dbtの分離
- 既存バッチの処理フローの整理
- 新バッチ開発
<スキル>
■必 須:
・Pythonバッチ開発経験
(スクレイピング系の開発経験があれば確度が高いです)
・dbt, ETLの開発経験
・AWSでの開発経験
・GitHubを利用した開発経験
■尚 可:
・Goバッチ開発経験
・Snowflake開発経験
田町
※月1出社
平日11:00-20:00(週5稼働)
月給80~90万円
※スキル・経験を考慮しご相談の上決定
土日祝