【職務内容】 大規模言語モデル(LLM)の実用化が加速すると同時に,その本質的な理解や社会実装する上でのリスクを制御する手法など,行うべき重要な研究開発テーマは増加しています。松尾研は,これまでLLMに関する主要な研究を精力的に行い,100億パラメータサイズで日英2ヶ国語対応のLLMWeblab-10Bの開発,経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて,「Tanuki-8×8B」の開発などを行ってきました。 今後も,LLMに関する研究開発の取り組みを更に加速させます。 ※以下は採用後に取り組んでいただくプロジェクトの一例です。 [1] LLMのフルスクラッチ構築,継続学習 (1B〜1000B) ① 大規模テキストコーパス,医療や法律等のドメイン固有情報の収集と整備 ② クラウドサービスを利用したLLMのスクラッチ開発,継続学習 ③ 評価データセットの整備 ④ 既存研究の再現実装や先端手法の追求(熟考型モデル、自立型エージェント、秘密計算、Mambaアーキテクチャなど) [2] LLMの社会的リスクに関する研究開発 ⑤ 既存研究,プロダクトの調査再現実装(Bias, Halucination, Watermark, Copyright, etc. ) ⑥ 既存プロダクトの検証 [3] 外部知識や外部ツールとの融合(LLM Agent) ⑦ Retrieval Augmented Language Model,Tool利用方法(ToolkenやCameleon),Web操作等の技術のベンチマーク ⑧ 上記に関する評価データセットや評価環境の整備