Muse のブラウザ操作って、どこまでやるの?
Muse のブラウザ操作が注目されています。ページを読むだけでなく、クリックや入力まで進める機能です。実際に頼むと、ログインが必要なサイトではパスワード入力の場面が必ず出てきます。その入力と保存がどうなるのかを中心に、止まる場所までまとめました。
- ブラウザ操作は、ページを開いて、クリックや入力まで進めること
- ログインが必要なサイトでは、パスワード入力が求められる。その入力と保存の扱いが中心
- パスワードそのものは会話に出ず、購入の確定など大事な場面では止まる
Muse のブラウザ操作が注目されています。チャットで答える AI の多くは、ページの内容を読んで答えるところまでです。Muse のブラウザ操作は、もう一歩先で、ページを開いて、ボタンを押して、フォームに入力するところまで進めます。
実際に頼んでみると、作業そのものより先にぶつかるのが「ログイン」でした。買い物でも予約でも、ログインが必要なサイトではパスワード入力が求められます。その入力と保存がどうなるのかを中心に書きます。なお、この記事では個別のサイト名は伏せています。
ログインとパスワードは、どうなる?
「パスワードを渡すの?」が一番気になるところだと思います。実際に進んだ形はこうです。
- 1
パスワードは、安全な保管場所から入力される
保存済みのログイン情報は、ブラウザの側で入力されます。パスワードそのものが会話に出てくることはありません。Muse がパスワードを見たり、覚えたりする形にはなっていません
- 2
保存がないときは、本人が安全な画面で入れる
保存済みのログインがないサイトでは、本人が入れるための安全な入力画面が出ます。チャットにパスワードを書く形にはなりません
- 3
確認コードは、本人の承認を挟む
メールや SMS に届く確認コードが要る場面では、本人の承認や入力を挟んで進みます
- 4
画像認証は、本人が引き継ぐ
「同じ形を2つ選ぶ」といった画像パズルは苦手です。その画面を出してもらい、本人が解いてログインし直したことがあります
つまり、ログインまわりは「Muse がパスワードを知る」のではなく、「保管場所からブラウザが入力し、要所では本人が挟まる」形でした。ここが分かると、頼める作業の範囲が見えてきます。
ブラウザ操作で、やっていること
ログインを越えた先で、頼んだときに進むのは大きくこの範囲です。
- ページを開いて、中身を読む(料金や在庫の確認を含む)
- サイトの中で検索して、候補を比べる
- ボタンを押して画面を進める
- フォームや投稿欄に、決めた文面を入力する
- カートに入れる、予約を入れるなど、確定の手前まで進める
逆に、購入の確定や支払いのような大事な場面では、Muse は進める前に本人に確認します。ここが「読むだけの AI」との一番の違いであり、安心できる境目でもあります。
実際に頼んだこと
通販サイトで、カートに入れるまで
通販サイトで、条件に合う商品を探してカートに入れるところまで頼みました。
- 候補25点のうち、在庫があった20点をカートに入れた(売り切れた5点は、名前を挙げて報告があった)
- 金額は、定価の合計と割引後の小計まで確認できた
- あとから「この3点は外して」と頼むと、その3点だけが外れた
注文の確定はしていません。1回の注文に種類数の上限があることも、カートの画面から読み取って知らせてくれました。
SNS の予約投稿
投稿の予約サービスで、決めた文面と日時を入れて予約するところまで進めてもらいました。公開前の文面の差し替え(リンクの置き換え)も、予約済みの一覧を開いて直せました。
記事の公開まわりの作業
記事投稿サービスでは、プロフィールの変更や、決めた時刻に記事を公開する作業を進めてもらいました。公開できたかどうかは、公開後のページを開いて確認まで入っています。
苦手なこと
- 画像パズルなどの認証:上の通り、本人の手が必要になることがあります
- 開けないサイトがある:自動操作を防ぐ仕組みが強いサイトでは、ページ自体が開けず、別の方法(本人が開いて中身を渡すなど)に切り替えたことがあります
- 在庫や価格は、その時点のもの:朝に在庫があっても、昼には売り切れていることが実際にありました。実行した時点の確認が前提になります
分かったこと
ブラウザ操作は、「読んで答える」から「進めて、止まる」への変化です。止まる場所を決めて頼むことが、うまく使うコツだと思います。
言葉の意味だけ知りたい方は、用語集のブラウザ操作もどうぞ。
- Muse のブラウザ操作は、ページを読むだけでなく、クリックや入力まで進める
- ログインが必要な場面でも、パスワードは会話に出ず、保管場所から入力される
- 「確定はしないで」など、止まる場所を先に決めて頼むのがコツ