画像認識型RPAのメリットとデメリット

画像認識型のRPAツールのメリットって何か教えてください。

という疑問に答えます。

後半では、画像認識型のRPAツールのデメリットについても解説します。

それでは、どうぞ！

この記事を書いた人

こさい

（株）完全自動化研究所代表のこさいです。

1) エンジニア歴25年超。開発から業務改善まで幅広く経験してきました
2) 複数の企業においてRPAのコンサルティングを行っています
3) RPA関連の書籍を5冊出版しています

現在はChatGPTとPower Automate for desktopの書籍を執筆中！

画像認識型RPAのメリット

画像認識とは

画像認識とは、操作対象を画像データとしてキャプチャーして、RPAの開発画面に登録する方式です。

ロボットの実行時に画像データを呼び出して、画面上の画像と照合して対象と特定した後、入力やクリックなどの操作を行います。

座標がずれても操作可能

操作対象の要素（ボタンやテキストボックスなど）の位置が変わっても、画像が同じであれば修正せずに対応できるという利点があります。

操作対象の要素ボタンの位置を座標で指定するツールもありますが、この場合は要素の位置が変わると修正が必要です。

直観的に開発できる

また、すべて画像で操作対象の要素を認識するので、直感的で理解しやすくRPA初心者でも習得しやすいRPAツールが多いのが特徴です。

自動化対象を選ばない

操作対象を画像としてマッチングするため、スクリーン上に表示されているものであればアプリケーションの種類を問わず操作することができるのが特徴です。

動かなくなることも

画像認識型のRPAは、直観的に開発できる反面、操作対象の画像が変わってしまうと動かなくなってしまうというデメリットがあります。

また、スクリーンの解像度を変えたら、認識されない場合もあります。

同じ画像がスクリーン上に複数あると……

スクリーン上に同じ画像が複数存在すると、どの画像に対してアクションすればいいのは判断できないという欠点があります。

この欠点に対して、『確実に判別できる画像』をまず認識させて、そこからの距離でアクションしたい要素を見つける、という方法をとります。

また、同じような見た目の要素が複数存在すると、間違って意図しない要素に対してアクションが起きてしまうこともあります。

この欠点に対しては、『画像とのマッチング精度を調整する』という方法をとります。マッチング精度を高めると、認識間違いは減りますが、わずかな見た目の変化があっただけでも、認識されなくなります。

画像要素認識のRPAツールもある

画像認識型には上記のデメリットがあるため、「画像要素認識」という方式を採用しているRPAツールもあります。

入力欄やボタンといった画面の要素をHTMLファイルやアプリケーションそのものから読み取って記録する方式です。「UIオブジェクト認識」と呼ばれることもあります。

見た目ではなく、HTMLやアプリケーションの内部構造を解析して実行されますので、画面レイアウトや見た目が変わっても、内部構造の構成要素が変わらなければ、問題無く動作します。

動作が高速で安定していますが、最初は「UIオブジェクト」などの用語と概念を理解しなければならないため、RPA初心者にはハードルが高く感じるでしょう。

というわけで、画像認識型RPAのメリットとデメリットを解説しました。

画像認識型のRPAツールは気軽に使えるし、無料のものもあります。

また、下記のRPAツールなら、画像認識も画像要素認識もサポートしているので、適切に使い分ける技術を身に付けましょう。