Square Assistant はカスタマー サポートのために自然言語処理の評判を高めることを目指しています。
今度、バーチャル アシスタントがいつになく親切に予約の日程変更をしてくれたと感じたら、お礼を言ってもいいかもしれません。もっとも、褒め言葉から学習するよう作られていたということもあり得ますが、ガボール アンジェリ (Gabor Angeli) 氏には、本当にお礼を言ってもいいかもしれません。
Square Inc. のエンジニアリング マネージャーである同氏とそのチームのメンバーは、親身に話を聞く AI アシスタントを作る方法について論文を発表しました。論文は、リフレクティブ リスニングの手法で、つまり依頼の言い換えをすることにより相手に話を聞いてもらっていると感じさせるテクニックなどで人間の行動にアプローチ AI モデルについて説明するものでした。
最近、アンジェリ氏のチームは、Square Assistant をバーチャル スケジューラから同社の全製品を動かす対話型 AI エンジンへと拡張する仕事に熱心に取り組んでいます。
「売り手と買い手の間ではきわめて幅広い会話が行われており、私たちは人々が会話を進めるのを支援できますし、支援すべきなのです」とアンジェリ氏は述べました。同氏は、GTC Digital に無料登録すると視聴できるセッションで、この取り組みについて紹介する予定です。
Square はスタイリッシュな決済端末で最もよく知られ、スモールビジネス向けに、スタッフ管理からロイヤルティ プログラムの作成まで幅広いサービスを提供しています。
活気づく対話型 AI
10 年以上前、カリフォルニア大学バークレー校の教授の AI 講座を受け、アンジェリ氏の心に自然言語処理 (NLP) への今も続く情熱が芽生えました。同大学の AI 研究所でこの新興分野を研究したアンジェリ氏は、やがて NLP スタートアップの Eloquent を共同創業し、Eloquent は昨年の 5 月 Square に買収されました。
6 か月後、Square Assistant がバーチャル スケジューラとして誕生しました。
アンジェリ氏は次のように述べています。「私たちは何か良いものを、ただし焦点を絞り込んだものを、お客様の前に素早く用意したかったのです。現在 Square Assistant に高度な機能を追加しており、当社が提供するほぼすべてのものにこれを組み込むことを目標としています」
結果は今のところ有望です。Square Assistant は顧客の問い合わせの 75% を理解してサポートを提供できるほか、予約の無断キャンセルを 10% 減らしています。
しかし、NLP の評判を高めるために、アンジェリ氏のチームは言語上および技術上の複雑な課題に直面しています。たとえば、「次の土曜日」は今週末の土曜日のことなのか。それとも来週の土曜日なのかといった問題です。
しかも、顧客がよく行う問い合わせのリストは長大です。Square Assistant の職務項目が数十から数千へと膨れ上がるにつれて、そのニューラルネットワーク モデルも拡大し、さらに多くのトレーニングが必要となります。
「私たちができるとは思っていなかったことを、BERT [Bidirectional Encoder Representations from Transformers (Transformer による双方向エンコード表現)] が実現するのを見るのはわくわくします。たとえば AI による文章読解などです。それが可能だというのは驚きですが、これらははるかに大きなモデルなので、トレーニングしてデプロイするには時間がかかるという課題が発生します」
GPU が推論とトレーニングを高速化する
アンジェリ氏のチームが Eloquent で AI モデルのトレーニングを始めたとき、デスクトップ PC 内の NVIDIA GPU 1 つで CUDA を動かしていました。Square では、デュアル GPU 搭載のデスクトップを使用し、大規模なハイパーパラメータ ジョブ向けのトレーニングには AWS クラウド サービスの GPU を利用して補っています。
テストをする中で、Square は、平均的な大きさのモデルで行われる推論ジョブは、CPU よりも GPU のほうが 2 倍速く実行できることを発見しました。RoBERTa などの大きなモデルで行われる推論は、CPU よりも AWS GPU サービスのほうが 10 倍速く実行できました。
トレーニング ジョブでは、その違いは「いっそう際立っている」とアンジェリ氏は述べています。「最近の機械学習モデルを GPU なしでトレーニングするのは困難です。もし CPU でディープラーニングを実行しなければならなかったとすると、私たちは 10 年遅れていたでしょう」
トレーニングの速度が上がると、AI 開発者も設計のイテレーション頻度を上げようという意欲をかき立てられ、結果としてより良いモデルができるとアンジェリ氏は述べました。
同氏のチームは、小規模、中規模、大規模の NLP モデルを混ぜて使用し、コンピューター ビジョン アプリで価値が証明されている事前トレーニングの技術を適用しています。長期的には、エンジニアは幅広いタスクでうまく機能する一般モデルを見つけるだろうとアンジェリ氏は考えています。
ただ当面の間、対話型 AI は、アンジェリ氏のチームのようにより効率的なモデルを作る開発者と、より強力なチップをデザインする GPU の設計者との二人三脚で進みます。
「仕事の半分はアルゴリズムの設計にあり、半分は、もっと機械学習に最適化され、もっと大きなモデルを実行できるハードウェアを NVIDIA が作れるかどうかにかかっています」