自分のスキルが企業の業務に通用するのかを知りたい

〜2023年 DSインターンシップインタビュー〜

Insight Techでは、機械学習や自然言語処理に特化したデータサイエンティストのサマーインターンを毎年数名募集しています。今年もオンライン形式での実施となりましたが、2週間の間ビジネスにつながる課題に取り組んでいただいてきました（募集記事はこちら）。

そんな活躍を見せてくれたインターンにインタビューを行いました！
どういうテーマに取り組んでいるの？実際インターンに参加してみて良かったことは？オンライン形式でのやりにくさはなかった？などなど、その思いを探っていきます！

今回ご紹介するのは、東京工業大学修士1年の鈴木さんです。

自分の研究分野がどう活用されているのか知りたかった

ーーまずは簡単に自己紹介をお願いします！

東京工業大学大学院情報理工学系修士1年の鈴木偉士（すずきたけし）です。
出身は千葉県です。
趣味はゲームで、戦略ゲームが好きです。

ーー大学ではどういった研究をされているのですか？

言語モデルの性能を可能な限り保ったまま大きさを小さくするモデル圧縮の手法の一つである知識蒸留について研究しています。昨今ではChatGPTをはじめとする大規模言語モデルがブームになっていると思います。しかし、このようなモデルはあまりにも大きすぎるので個人やほとんどの企業のコンピュータで動かすことはできません。そのため、モデル圧縮は今求められている技術であると考えています。

ーー大規模言語モデルについては大流行という感じですが、まだまだ未知で難しい部分も多い印象がありますね。そういった研究に取り組まれている中で、Insight Techのインターンへ応募をしたきっかけ、目的は何でしょうか？

御社のインターンは魔法のスプレッドシート（※）で知りました。目的としましては、自分の研究分野（自然言語処理）の内容が実際にどのように活用されているのか、また、自分のスキルが実際の企業の業務に通用するのかを知ることです。

※（編集者注）魔法のスプレッドシートとは、有志の方が管理している、IT関連のインターンシップの情報が閲覧できる便利なデータベースのことで、Insight Techも毎年情報を掲載しています：https://magic-spreadsheets.pages.dev/

やりにくさはなく、特に技術的な面でのサポートに助けられた

ーーここからは実際にインターンに参加してからのお話を聞かせてください。まず、インターンで取り組んでいるテーマを教えて下さい！

「LLM（大規模言語モデル）と不満データをかけあわせることによる生成検証」です。具体的には、不満買取センターに寄せられたデータをカテゴリごとに要約できないかを検証しました。目的はあるカテゴリについてどのような不満を持っている人が多いかをわかりやすい形で見ることです。

ーー短い期間でしたが、いろいろと試行錯誤していただきました。なかなか難しいテーマに取り組む中でリモートでのインターンとなりましたが、インターンに参加してみてやりにくい点とかはなかったでしょうか？

やりにくさは無かったです。メンターの方も特に技術的な面（AWSの環境構築とトラブルの解決、ツールの紹介、データベースへのアクセスなど）で非常にお世話になりました。ありがとうございました。

大学の研究とは違うことを経験し、難しさを感じた

ーー実際にInsight Techのインターンに参加してみて、よかったことや学びになったことはありますか？

言語処理の分野で定性的な評価を行ったことが一番良い経験になったような気がします。今回のインターンシップでは、AIが生成した要約を評価するための正解の文のようなものはありません。そのためBLEUスコアやBERTスコアなどのテキスト生成で用いられる定量的な指標を用いることができませんでした。
大学の研究では常に定量的な評価を行なっているため、言語処理の分野で定性的な評価を行うのは初めてのことで、振り返ってみるとかなりお粗末な評価をしてしまったと思っています。また、定性的にこだわりすぎて量を完全に忘れてしまっていました。〇〇の特徴を持った出力が何件みたいなものを集計するなどするべきだったと後から振り返って思います。