海外でGPT-3とかいう文章自動生成AIがバズってるらしい...
最近は、いわゆる人工知能（AI）を利用したプロダクト開発ができないか考えているはやとです。
先日海外で「危険すぎる」と話題になった文章生成AI「GPT-2」の進化版、GPT-3が出ました。
「GPT-3はビットコイン以来の破壊的な可能性を秘めている」と呼ばれるほど注目されている技術の1つですが、ぶっちゃけ
- 実際のどの程度のレベルなのか（英語で）
- 日本語として商用的に利用することは可能なのか
- Twitterのツイートを自動的に生成するプロダクトなどは国内外であるのか
が気になったので、調べてみました。
これは何か
いわゆる文系AI人材（？）と言われる僕が、単純にTwitterの文章を自動生成できないかと興味を持ったところから、最近海外で話題になっているOpenAIが開発したGPT-3とそれに付随する技術を調査し、簡易的にまとめたものです。
ちなみにこれからの時代、文系AI人材が必要と一部では叫ばれています。
いかにAIの仕組みを理解し、技術的な内容をビジネスに転用していくのか、BizDev力が問われているのだと思います。
そもそもツイートを自動生成することができるのか
Twitterの投稿、いわゆるツイートを自動生成することは現状の技術でも出来ます。
さらに実際に個人で開発した人がサービスを公開していたりもするので、精度も簡単に確認することができます。
しかし、実際に利用できるかはまた別の問題であり、僕の所感としてはまだまだ文章としては使えなかったり、かなり制約があったりする印象です。
いくつかネット上で見つけた自動生成関連の情報をまとめます。
Tweet Generator
Jeremy Singer-Vineさんが作成された「Tweet Generator」は、自分のTwitterアカウントを認証させることで過去のツイートを学習。
その学習結果をもとに条件を設定（任意）すると、自動的に文章を作成してくれます。
マルコフ連鎖という手法を使っているようです。
GitHubはこちら。
マルコフ連鎖とは
マルコフ連鎖は、未来の挙動が現在の値だけで決定され、過去の挙動とは無関係であること。
つまり、現在とその1個前の時点の2点だけを考慮している状態です。
【ハイテク解析】あなたの代わりにツイート自動作成【ハイテンション】
こちらはアプリメーカーを利用したミニアプリ。
過去のツイートからキーワードを抽出し、ハイテンションな言葉を混ぜてツイートを作成してくれます。
ハイテンションとされるユーザー辞書を作成し、それらに合わせてユーザーがよく使うキーワードを混ぜ込んで作成しているようです。
AIによる自動生成系のビジネス利用
自動生成系の処理がどのようなビジネスで使われているのかも気になったので調べてみました。
決まったフォーマット系
まず有名なのは、日経のAI記者による「決算サマリー」です。
上場企業が決算を出してから約10秒で文章が作成され、数分後にはwebページとして公開されるそうです。
決算は決まったフォーマットが多いため、数値の速報などはPDFの読み込みと定型文章への落とし込みで可能そうです。
AIが創作活動全般をサポート
AIが絵画や動画似合わせた楽曲作成なども現在世界では進んでいるようです。
特に衝撃なのはAIが描いた絵が4,900万円で売れていること...
但しAIは学習させた内容をもとに作成しているので、あくまでも人間の模倣。
新たな価値を生み出していく人間と、それらをサポートするAIという共存の形が見えてきそうです。
アイドルのTwitterアカウントは実はAIだった？！
2017年に行われたのはアイドルのツイートを学習させ、アイドルの癖や日常などを考慮した自動ツイート作成。
アイドル本人が作成した文章の遜色なく、正直わからない笑
ここから添付されている画像なども自動で数百パターンとか作成され始めたら、いよいよアカウント運用もAIに任せることができるかもなぁと思ったり。
最近海外で話題のOpenAIが開発した「GPT-3」はツイート自動生成に使えるのか
ここからは実際に海外でトレンドとなっている「GPT-3」について調べていきましょう。
危険過ぎると言われた「GPT-2」と開発したOpenAIとは
まずは「GPT-3」の前に、前身である「GPT-2」について調べてみます。
GPT-2を開発したのは、テスラ・モーターズのCEOでもあるイーロン・マスクが出資する非営利のAI研究組織であるOpenAIです。
OpenAIは2015年に設立されました。
設立された背景は「今後人工知能が人間に脅威を与える恐れ」を危惧し、社会全体の利益を優先できる有力な機関が必要だとアメリカの起業家や投資家などが考えたからです。
そのOpenAIが2019年に発表したのが「GPT-2」です。
これらはTwitterやReddit（日本でいう5chのまともな感じのもの）で様々な懸念が出て、結局公開を中止しました。
「GPT-2」は最初の書き出し文章を入力すると、自動的にそれに続く文章を作成してくれます。
実際にYouTubeにテキストが作成されるまでの工程が公開されているので、ぜひ視聴してみて下さい。
危険過ぎると言われた「GPT-2」ですが、実際にはまだまだ実用段階としは初期という見方も出ています。
実際に文章生成においては、
- 複数回生成を試して、最も良い文章を選び取る必要がある
- 文章を作成することは出来ても、文脈まで合わせるのは難しい
などの課題があります。
GPT-2は結局公開され、WEBサイト上でテストもできる
紆余曲折を得て、GPT-2は最終モデルが2019年11月に公開されています。
しかし、OpenAIは同時にGPT-2を利用して作成された文章を見抜くAIも作成・公開しています。
「GPT-2」のコードはこちらで公開されています。
ちなみに、英語になってしまいますが、「Text Synth」というサイトではGPT-2を利用した文章を作成できます。
「Tips of Twitter Marketing」と入力したところ、
tips of twitter marketing, they're not necessarily wrong. If you're going to do an ad campaign on social network you have to pay a price for it. A big number of people are not aware of this. I have a lot of twitter followers, but I'm not a big twitter user. I like to keep the account free, and I don't spend as much money on it as I should. But I do it for the brand and marketing benefit that twitter provides for me. That's part of the job
（日本語訳） Twitterマーケティングのヒント、それらは必ずしも間違っているわけではありません。ソーシャルネットワークで広告キャンペーンを行う場合は、その代価を支払う必要があります。多くの人がこれに気づいていません。ツイッターのフォロワーはたくさんいますが、ツイッターはあまり好きではありません。私はアカウントを無料にしておくのが好きで、必要以上にお金をかけません。しかし私は、Twitterが私に提供するブランドとマーケティング上の利益のためにそれを行います。それは仕事の一部です
このように文章が作成されました。
確かに、文脈がおかしかったりしますが、使いようによっては使えそうです。
GPT-2の仕組み
GPT-2では、 * 自己回帰モデルによるzero-shot * 大規模なモデル * 大規模なデータセット の3つの要素で構成されています。
「自己回帰モデル」というのは、それまでに出てきた単語によって次に出てくる単語の出現確率が定義されるモデルのことです。
「大規模なモデル」では、通常よく使われるRNNではなく「Transformer Encoder」と言われるモデルを利用しています。
「大規模なデータセット」というのは、合計40GBの巨大なデータセットです。
「GPT-3」の実力はいかに、ツイート自動生成はできるのか
GPT-3は、あらゆる情報を網羅した大規模なテキストデータのコーパス（Common Crawlデータセットやwiki英語版など）上で訓練されています。
出来ることとしては
- 機械翻訳
- 質問と回答
- 空白の単語を埋めて文章作成
- 計算
などが挙げられます。
GPT-3の仕組み
GPT-2の仕組みを先ほど解説しましたが、GPT-3はGPT-2の3つの要素をさらに強化させたものです。
具体的には、 * 自己回帰モデルによるFew-shot * さらに大規模なモデル * さらに大規模なデータセット
海外で一部ユーザーに開放されているAPIを利用した活用事例
テキストからGoogleのTOPページを生成
Here's a sentence describing what Google's home page should look and here's GPT-3 generating the code for it nearly perfectly. pic.twitter.com/m49hoKiEpR
— Sharif Shameem (@sharifshameem) July 15, 2020
Reactのコンポーネントを自動作成
Here's GPT-3 generating React components based on a _variable name_ alone, using the @OpenAI API. pic.twitter.com/YHP8gVqMLD
— Harley Turan (@hturan) July 12, 2020
デザインを文章から一瞬で作成
This changes everything. 🤯
— Jordan Singer (@jsngr) July 18, 2020
With GPT-3, I built a Figma plugin to design for you.
I call it "Designer" pic.twitter.com/OzW1sKNLEC
言葉から数式を作成し計算
After many hours of retraining my brain to operate in this "priming" approach, I also now have a sick GPT-3 demo: English to LaTeX equations! I'm simultaneously impressed by its coherence and amused by its brittleness -- watch me test the fundamental theorem of calculus.
— Shreya Shankar (@sh_reya) July 19, 2020
cc @gdb pic.twitter.com/0dujGOKaYM
参考：GPT-3の衝撃
まとめ
途中からツイート自動生成からGPT-2/3の話ばかりに...「GPT-2」も「GPT-3」も、そもそも教師データが必要ない（コーパスだけで良い）のが驚きです。
そしてなんと言っても大規模なデータセットでしょう。Googleが公開した英語版Bertの学習が13GBなので...
●実際のどの程度のレベルなのか（英語で）
=>文脈理解は難しいが、取り柄あえず読める文章は作成される
●日本語として商用的に利用することは可能なのか
=>現状では日本語には非対応（学習はあくまで英語のみ）
●Twitterのツイートを自動的に生成するプロダクトなどは国内外であるのか
=>既に複数存在。いくつかの方法を組み合わせ、教師データを集めればさらに精度高くできそう。
GPT系のビジネスへの転用としては、
- アイデア発想（サービス・コピー・企画諸々）のきっかけ作り
- 利用者のニーズに応じた情報の濃淡を付けた要約
などが考えられそうです。
今回はGPT-2のモデルを試せたのが1番興奮しました。
では。
