自分のスキルが企業の業務に通用するのかを知りたい

Insight Techでは、機械学習や自然言語処理に特化したデータサイエンティストのサマーインターンを毎年数名募集しています。今年もオンライン形式での実施となりましたが、2週間の間ビジネスにつながる課題に取り組んでいただいてきました（募集記事はこちら）。

そんな活躍を見せてくれたインターンにインタビューを行いました！
どういうテーマに取り組んでいるの？実際インターンに参加してみて良かったことは？オンライン形式でのやりにくさはなかった？などなど、その思いを探っていきます！

今回ご紹介するのは、東京工業大学修士1年の鈴木さんです。

東京工業大学大学院情報理工学系修士1年の鈴木偉士（すずきたけし）です。
出身は千葉県です。
趣味はゲームで、戦略ゲームが好きです。

言語モデルの性能を可能な限り保ったまま大きさを小さくするモデル圧縮の手法の一つである知識蒸留について研究しています。昨今ではChatGPTをはじめとする大規模言語モデルがブームになっていると思います。しかし、このようなモデルはあまりにも大きすぎるので個人やほとんどの企業のコンピュータで動かすことはできません。そのため、モデル圧縮は今求められている技術であると考えています。

御社のインターンは魔法のスプレッドシート（※）で知りました。目的としましては、自分の研究分野（自然言語処理）の内容が実際にどのように活用されているのか、また、自分のスキルが実際の企業の業務に通用するのかを知ることです。

※（編集者注）魔法のスプレッドシートとは、有志の方が管理している、IT関連のインターンシップの情報が閲覧できる便利なデータベースのことで、Insight Techも毎年情報を掲載しています：https://magic-spreadsheets.pages.dev/

「LLM（大規模言語モデル）と不満データをかけあわせることによる生成検証」です。具体的には、不満買取センターに寄せられたデータをカテゴリごとに要約できないかを検証しました。目的はあるカテゴリについてどのような不満を持っている人が多いかをわかりやすい形で見ることです。

やりにくさは無かったです。メンターの方も特に技術的な面（AWSの環境構築とトラブルの解決、ツールの紹介、データベースへのアクセスなど）で非常にお世話になりました。ありがとうございました。

言語処理の分野で定性的な評価を行ったことが一番良い経験になったような気がします。今回のインターンシップでは、AIが生成した要約を評価するための正解の文のようなものはありません。そのためBLEUスコアやBERTスコアなどのテキスト生成で用いられる定量的な指標を用いることができませんでした。
大学の研究では常に定量的な評価を行なっているため、言語処理の分野で定性的な評価を行うのは初めてのことで、振り返ってみるとかなりお粗末な評価をしてしまったと思っています。また、定性的にこだわりすぎて量を完全に忘れてしまっていました。〇〇の特徴を持った出力が何件みたいなものを集計するなどするべきだったと後から振り返って思います。

しっかりログはとりましょう。こまめにgitのリモートリポジトリにpushしましょう。

不満買取センターというものを知りませんでしたので、もっと若い人に認知されるといいなと思います。

2週間ありがとうございました。あまり良い結果が出せた気がしませんが、御社のLLMの活用に少しでも貢献できたなら幸いです。

インターン期間最終日にオンラインで行われた成果報告会での1コマ

鈴木さん、ありがとうございました！