仕事内容:
◇◇ 技術環境 ◇◇
PythonとSQLを中心に、データ分析基盤へ接続するバッチ・ETL／ELT処理を開発します。RDBからクラウド上のデータ分析環境まで、データの抽出・加工・統合に関わる技術領域を扱う案件です。
- 開発：Python、SQL、Shell Script
- OS環境：Linux
- データ処理：ETL、ELT、バッチ処理
- データベース：RDB
- ワークフロー管理：Airflow
- クラウド：AWS、Azure、GCP
- データ基盤：Snowflake、BigQuery、Redshift
- ソース管理：Git
◇◇ 担当工程 ◇◇
- Pythonでデータ連携用のバッチプログラムを開発
- SQLによるデータ抽出・加工・集計処理を実装
- 複数システムのデータを変換・統合し、分析基盤へ取り込み
- ETL／ELT処理の設計から既存処理の改修まで対応
- 大容量データを扱う処理について性能を確認・改善
- ジョブの実行タイミングやスケジュールを管理
- ログからエラー原因を調査し、必要な修正を実施
- テストおよび処理結果のデータ検証まで担当
アピールポイント:
■ この案件の魅力
- Python・SQLによるデータ処理の経験をデータ基盤開発へ活用できる
- ETL／ELT・ワークフロー・大容量バッチなど複数のデータエンジニアリング領域を扱える
- Snowflake・BigQuery・Redshiftなどの利用経験も活かせる
求める人材:
◆◆ 必須スキル ◆◆
- 【開発経験】システム開発に2年以上携わった実務経験
- 【Batch】Pythonなどを用いたバッチプログラムの開発経験
- 【SQL】データの抽出・加工・集計をSQLで実装した経験
- 【Database】RDBを利用するシステムの開発経験
- 【Linux】Linux環境で開発した経験
- 【Team Development】Gitを利用したチーム開発経験
◆◆ 歓迎スキル ◆◆
- ETL／ELT処理を設計・開発した経験
- データ分析基盤またはデータウェアハウスの開発経験
- Airflowなどによるワークフロー管理経験
- 大量データ向けバッチ処理の開発経験
- SQLのパフォーマンスチューニング経験
- AWS／Azure／GCP環境での開発経験
- Snowflake／BigQuery／Redshiftの利用経験
- Shell Scriptを使用した開発経験
勤務時間・曜日:
勤務時間：平日、日中稼働できる方（コアタイムあり）
休暇・休日:
土日祝休み
給与:
月給45万円～70万円程度を想定
その他:
・日本在住の方
・一人月で稼働可能な方
・45歳未満の方
・リモート勤務も可能！
雇用形態: 業務委託
