ここに来てAlphabetが生成AIにかなり本腰でAI STUDIOの方ではラピッドリリースに近い感じでアプデが行われている。というわけでお決まりのお題で定点観測する。
否定文の理解
Q 次のhogeを埋めてください「日本の首都はhogeではない」
Gemini 2.0「
GPT-4omni「日本の首都は東京ではない」（誤答）
引っかけ
Q マラソンで8位の選手を追い抜きました。今何位？
Gemini 2.0「
GPT-4omni「7位です。」（誤答）
しりとり
Q しりとりをあなた一人で10回繰り返してください。一発勝負なので慎重に行ってください。最初は「り」
Gemini 2.0「
はい、承知いたしました。一人しりとりを10回行います。
りんご
ごりら
らっぱ
ぱんだ
だるま
まくら
らいおん
ん… (んがついたので終わりです！)
」（誤答）
GPT-4omni （制限のため実施できず）
結論
とりあえずGemini 2.0の回答ムラがひどく、正解を出すこともあれば誤答をひたすら連打することもある。
もっとひどくなると正解画像を貼っても間違えることがある。今回は実施しなかったが俳句の出来も以前より悪い。
当面の目標は「一人暮らしの老人の話し相手」という水準であるがこれでは到底まかせられないというのが印象だ。
