GPT-3の衝撃
- 今更トレンドにキャッチアップしようと思って少し調べてみたらいきなり文からReact生成してて目を疑う。
- 悪用を懸念してAPIのみが公開されているらしい
- これ、サービスのサポートとかに入れたらかなり便利になるんじゃないだろうか
GPT-3 Expectations
- 十分すごいんだけど、凄すぎる部分じゃないところにも目を向けてみようと言う内容
- まず一番にあげられるのは速度で、結果が得られるまでそこそこ時間がかかる
- GCP-2と比べると格段に性能は良くなっているものの、成功するのが30-40%、失敗確率が60-70あると考えるとまだproductionに出すには信頼しきれない。バズっているものはかなりいい例を切り取っていることは否めない
- みんながAPI経由で同じモデルを使っているので、競争的な面で優位性は出せない。(でも将来的にチューニングできるようになる可能性は示唆されている)
- domainにもよるけど、差別的なバイアスがそのまま結果に反映されてしまっている(かもしれない)まあこれは他の機械学習でも共通の問題なのではないかなと思う
Intro to AWS
- 自分がクラウド触り始めた時に知りたかった概念が纏まって説明されていてとても良い
- AWSのコンソール右上でリージョン切り替えるんだったな、懐かしい。あれ見逃してあれ！？ない！？ってなったことが何回かあった気がする。個人的にはGCPみたいにリージョン跨いでみられる方が好きかも。
- GPT-3の話題が既に組み込まれていてすごい
- GPT-3はAzure?
- ディープラーニングにおける畳み込み演算はGPUでやる方がCPUより早いらしい。GPUも結構いけるぞくらいの認識だったのでむしろそっちの方が早いと言うのは少しびっくり
- EC2でOSのImageを選ぶ時、用途が決まっているならそれに合わせて選んだ方が楽。例えば機械学習用のプログラムが事前にインストールされているものなど。
