採用企業
AI Startup
勤務地
東京都 23区, 新宿区
雇用形態
正社員
給与
800万円 ~ 1600万円
服装カジュアル副業OKフレックスタイム制
1. Evaluation Metric R&D
Research and implement LLM-as-Judge calibration (rubric design, bias detection,
scoring rules).
Design and validate bespoke evaluation benchmarks to ensure construct validity.
Apply Reward Modeling and preference learning to improve evaluation accuracy.
2. Automated Pipeline Engineering
Build scalable automated evaluation pipelines integrated into CI/CD.
Develop agent evaluation harnesses supporting multi-turn dialogues, tool-use,
and long-context scenarios.
3. Red Teaming & Safety
Automate adversarial testing and build policy compliance verification frameworks.
- Develop hallucination detection and calibration methods.
職務経験
6年以上
キャリアレベル
中途経験者レベル
英語レベル
ビジネス会話レベル (英語使用比率: 常時英語)
日本語レベル
無し
最終学歴
大学院卒： 修士号/博士号
現在のビザ
日本での就労許可が必要です
Minimum Qualifications
・Education: Master’s degree or higher in CS, Machine Learning, Statistics, Physics,
or related quantitative fields.
・Experience: 3+ years as an ML Engineer, Data Scientist, or Research Engineer.
・Technical: Proficiency in Python and ML frameworks (PyTorch, JAX, etc.).
・Domain Knowledge: Deep understanding of Generative AI evaluation
(benchmarking, quantitative quality measurement).
・Language: Business-level English proficiency.
Preferred Qualifications
・Publication record at top-tier conferences (NeurIPS, ICML, ACL, etc.).
・Experience with RLHF, DPO, or preference learning.
・Expertise in AI Safety, Responsible AI, and automated red teaming.
雇用形態正社員給与800万円 ~ 1600万円
勤務時間: 10:00～19:00
会社の種類
中小企業 (従業員300名以下)
外国人の割合
外国人 半数
募集について
本求人は転職サイトCareerCross（キャリアクロス）がIndeedへの掲載を行っております。
【求職者の方のお問い合わせについて】
■ 求人内容に関するお問い合わせ
CareerCrossは求人掲載サービスのため、各求人の詳細な職務内容や選考内容につきましては、掲載企業様より直接ご案内いただいております。
ご応募後、企業様から返信があった場合は、CareerCrossサイト内で企業の担当者様と直接やり取りが可能となります。求人内容や選考に関するご質問につきましては、企業様へ直接ご確認ください。
■ CareerCrossのサービスに関するお問い合わせ
CareerCrossのサービス利用方法等に関するお問い合わせにつきましては、以下までご連絡ください。
電話：03-5217-3900
問い合わせフォーム：https://www.careercross.com/suggestion
【CareerCross求人掲載企業様のお問い合わせについて】
Indeedでは求人の掲載停止や内容変更の手続きができません。
大変お手数ですが、該当のご依頼につきましてはCareerCross（当社）までご連絡いただけますと幸いです。
電話番号：03-5217-3900
メール：[email protected]
