【輪読会メモ】深層学習による自然言語処理#4
【概要】
- 「深層学習による自然言語処理」の輪読会をしています
- 輪読会第4回目は5章が範囲でした
【目次】
はじめに
講談社MLPシリーズの「深層学習による自然言語処理」の輪読会をしています。 輪読会の範囲で気になったことや資料のリンクなどをまとめていきます。
輪読会のリンクはこちらです。
「深層学習による自然言語処理」のほか、輪読会を定期開催しているので、気になった方はグループメンバーになってもらえるとうれしいです。 また、Slackのwork groupを用意しているので、参加したい方は何らかの方法で私に連絡ください(輪読会参加してなくてもwelcome)。
輪読会記録
資料リンク
勉強会で利用した資料のリンクを貼ります。いつも通り発表担当は私でした。 なお、輪読会中に書き込んだメモなどがそのまま残っているので、一部見づらい箇所があるかもしれません。。。
第5章の概要
5章は章題が「応用」というだけあって、具体的な4つの応用課題についてモデルの例と課題に対しての難しさや課題について書かれていました。ただ、書籍内にも書かれていますが、2017年初版の本なので現在(2022年)からすると内容的にはちょっと古いものもあると思います。
紹介されている応用課題は「機械翻訳」、「文書要約」、「対話」、「質問応答」の4つです。それぞれの応用課題については書籍か上記に添付の資料を参照いただけたらと。
5章全体を通した感想
翻訳課題については、問題設定がはっきりしていることから、学習データを集めやすいということでした。
一方その他のタスクについて、一貫して課題として挙げられているのは「評価指標」の難しさということでした。これは「問題設定の曖昧さ」に起因すると思われますが。
例えば文書要約については、「要約文」について要約の長さについての規定みたいなものはなくて、実際の利用現場でどのような「要約文」が必要なのかに依存するわけです。これは、実は私も以前業務で突き当たった問題でした。
そこで、性能を評価するためのタスク設定が色々行われているわけですが、作られた問題設定なので、どうしても箱庭感が抜けないような気がします。利用者は、こういった課題を踏まえて、自分自身が直面している課題にどうやってアプローチするかを考えていかないといけないんですよね。
その他:キャッチアップについて
本書については、2017年初版ということで5年前の情報までがまとまっているものになります。自然言語処理に限定されず、深層学習の分野は日進月歩のようなので、すでに情報が古いという指摘もあります。この点を踏まえて、「最新のモデルをどのようにキャッチアップしていくか」という議論になりました。
色々な意見があると思いますし、立場によっても異なってくると思います。私は研究者ではなく利用者の立場なのですが、「最新の情報をキャッチアップできてないからといって焦らない」と考えています。また、「最新のモデル」を追うよりも分野が扱っている「課題」とベーシックな仕組みを知っておくことが重要だと考えています。
なぜなら、評価指標となるスコアは条件によって大きく変動することがままあります(乱数シードみたいなものなどでも)。また、スコアを計算する元になる課題設定が実際に直面している課題とフィットするとは限らないためです。
情報収集については私自身うまくできてない感じはするのですが、基本的な考え方としてこのように回答しました。
その他:実務での利用について
上記と関連するのですが、実務で利用する際の考え方についても議論となりました。
私は、初手として「枯れた技術」を利用することが良いと考えています。
上記で挙げたように、論文用の課題設定に過剰にフィットしている可能性もあるので、まずはベーシックな仕組みを試すことが重要と思っています。
おわりに
ということで、「深層学習による自然言語処理」輪読会第4回目の記録でした。
今回は応用タスクについて眺めました。応用タスクの多くで「評価」指標が課題になっているということで、まぁそういう問題よなと改めて感じた次第です。そういった意味で、自然言語を扱うのは難しいなと感じました。
次回は最終回。