V-Training は M5Stack が提供するオンライン AI モデルトレーニングサービスです。現在、V-Training では「Classification」(対象を認識して対応するクラスを返す)と「Detection」(YOLOv3 アルゴリズムを採用し、画像内の対象の位置を認識して枠線を描画する)という 2 つのモデルトレーニングモードを提供しており、ユーザーは用途に応じて自由に選択できます。以下では、これら 2 つのモードのモデルトレーニング方法を説明します。
| ドライバ名 | ダウンロードリンク |
|---|---|
| Windows_Desktop_x64 | Download |
| Windows_Desktop_x86_32 | Download |
| Windows_Desktop_ARM | Download |
| MacOS_Intel | Download |
| MacOS_ARM64 | Download |
M5Stack または USB Serial です。)
システム環境設定 -> セキュリティとプライバシー -> 一般 -> ダウンロードしたアプリの実行を許可する -> App Storeと確認済みの開発元 に移動してください。1. ファームウェアと Kflash_GUI 書き込みツールをダウンロードします。
| ファームウェアバージョン | ダウンロードリンク |
|---|---|
| M5StickV_Firmware_v5.1.2.kfpkg | Download |
| ソフトウェアバージョン | ダウンロードリンク |
|---|---|
| Kflash_GUI_Windows | Download |
| Kflash_GUI_MacOS | Download |
| Kflash_GUI_Linux | Download |
2. デバイスを Type-C データケーブルでパソコンに接続し、書き込みツール Kflash_GUI アプリケーションをダブルクリックして開きます。対応するデバイスポート、開発ボードの種類(M5StickV)、ファームウェア、ボーレートを選択し、ダウンロードをクリックして書き込みを開始します。
モデルのトレーニングには大量のトレーニング用画像素材が必要です。M5StickV と UnitV はハードウェアが異なるため、素材の撮影方法も異なります。実際に使用するハードウェアに応じて、以下の説明を参考に撮影してください。
トレーニング素材の撮影には SD カードが必要です。ユーザーは boot-M5StickV プログラムの圧縮ファイルをダウンロードし、圧縮ファイル内のすべてのファイルを解凍して SD カードに配置してください(M5StickV は SD カードの選定に要件があります。こちらをクリックして対応タイプを確認)
起動前に SD カードを挿入して画像素材を保存します。左側の電源ボタンを長押しして起動し、画面に下図のような Training の文字が表示されたら、撮影プログラムが正常に起動したことを示します。
画面上部のナビゲーションバーには、現在の Class 番号と撮影した画像の枚数がリアルタイムで表示されます。HOME キーを押すと画像を撮影し、本体右側のボタンで Class 番号を切り替えます。
現在、プログラムでは 10 組の Class が用意されており、ユーザーはトレーニング素材を撮影できます。各 Class は 1 種類の認識対象を表します。より良いトレーニング結果を得るには、3 組以上の Class を撮影する必要があります。認識精度を確保するため、各 Class の撮影素材は 35 枚以上必要で、35 枚未満の場合はクラウドトレーニングが承認されません。素材の数が多いほど、認識トレーニングの効果と認識率が向上します。
boot-UnitV プログラムは UnitV 用の画像素材撮影プログラムで、モデルトレーニング前の素材収集に使用します。
撮影したトレーニング素材はデフォルトで SD カードに保存されるため、boot プログラムを実行する前に SD カードを UnitV のスロットに挿入してください。(注意:UnitV は SD カードの選定に要件があります。こちらをクリックして対応タイプを確認)
MaixPy IDE を起動し、UnitV デバイスを接続します。「ファイルを開く」オプションをクリックして、ダウンロード済みの boot.py ファイルを開き、実行ボタンをクリックします。実行に成功すると、MaixPy IDE の右上にカメラ映像がリアルタイムで表示されます。
IDE 上のカメラ映像を確認しながら撮影操作を行います。A キーを押すと画像を撮影し、B キーで Class 番号を切り替えます。出力ログには、各操作に対応する Class 番号と撮影枚数が表示されます。下部の「シリアルモニター」をクリックしてログ出力を確認してください。
現在、プログラムでは 10 組の Class が用意されており、ユーザーはトレーニング素材を撮影できます。各 Class は 1 種類の認識対象を表します。より良いトレーニング結果を得るには、3 組以上の Class(3 つ以上の認識対象)を撮影する必要があります。認識精度を確保するため、各 Class の撮影素材は 35 枚以上必要で、35 枚未満の場合はクラウドトレーニングが承認されません。素材の数が多いほど、認識トレーニングの効果と認識率が向上します。
トレーニング素材を撮影する際は、素材撮影時の環境光を実際の認識アプリケーションのシーンとできるだけ一致させてください。撮影距離は、認識対象が画面にちょうど収まる程度とし、背景に他の不要な物がない状態を推奨します。
注意:認識精度を確保するため、各 Class の撮影素材は 35 枚以上必要です。35 枚未満の場合はクラウドトレーニングが承認されません。素材の数が多いほど、認識トレーニングの効果と認識率が向上します。
素材の撮影が完了したら M5StickV の電源を切り、SD カードを取り出し、カードリーダーで SD カード内の画像素材(「train」「vaild」の 2 つのフォルダー)をパソコンにコピーします。
「train」「vaild」の 2 つのフォルダー内の Class 番号フォルダーの構成は一致しています。Class を切り替えて素材を撮影すると、プログラムは「train」「vaild」の両方に同じ Class 番号のフォルダーを同時に作成し、保存ルールに従って撮影した画像をそれぞれの Class フォルダーに保存します。
圧縮してパッケージ化する前に、画像内容の正確性を確認するだけでなく、「train」「vaild」の 2 つのフォルダー内の同じ Class 番号ディレクトリにある素材画像の合計が 35 枚より多いことを必ず確認してください。合計が 35 枚未満の Class 番号ディレクトリは、ご自身で削除するかバックアップしてください。確認作業が完了したら、次に素材ファイルを圧縮します。「train」「vaild」の 2 つのフォルダーを圧縮ツールで「zip」形式の圧縮ファイルにします。
こちらをクリックしてデータアップロードページにアクセスし、画面の案内に従って個人用メールアドレスを入力し、「ファイルをアップロード」をクリックします(アップロードするファイルサイズは 200MB 以内に抑え、zip 形式である必要があります)。
アップロードが成功すると、ファイルはリクエストキューに入り、ページ左下の表に現在のキューの状況が表示されます。
トレーニングの完了を待つと、プログラムファイルのダウンロードアドレスが、ファイルアップロード時に登録したメールアドレスに送信されます。メール内のダウンロードアドレスをコピーし、プログラムファイルをローカルにダウンロードして解凍し、SD カードにコピーしてください。
最後に SD カードを M5StickV に挿入し、電源を入れるとプログラムが自動的に実行されます。
デフォルトのプログラムは、物体を Class 番号に従って認識し、画面に表示します。boot.py ファイルを変更することで、表示される情報を変更できます。
UnitV には画面が搭載されていないため、ユーザーは必要に応じて既存のプログラムをベースに変更できます。認識データを出力したり、認識成功後に応じた処理を実行したりできます。たとえば、認識情報をシリアルポートから出力します。
以下はシリアル出力プログラムを追加した boot プログラムです。一部の内容にのみコメントを付けており、完全なプログラムではありません。実際に使用する場合は、トレーニングで返された boot プログラムファイルをベースに変更してください
...
task = kpu.load("/sd/c33723fb62faf1be_mbnet10_quant.kmodel")//Load the model file
labels=["1","2","3","4","5","6"] #The list corresponds to the Class order of the training material, for each identifier, and you can change the elements of the list to other string fields.
while(True):
img = sensor.snapshot()
fmap = kpu.forward(task, img)
plist=fmap[:]
pmax=max(plist)
max_index=plist.index(pmax)
a = lcd.display(img)
if pmax > 0.95://Check whether the recognition rate of the object is greater than 95%
lcd.draw_string(40, 60, "Accu:%.2f Type:%s"%(pmax, labels[max_index].strip()))
print(labels[max_index])//Print the name of the recognized object through the serial port.
.... 上記の分類モードのトレーニング方法と同様に、検出モード(YOLOv3)でもカメラを使用して素材を撮影する必要があります(ここでは分類モードの撮影プログラムをそのまま使用できます)。異なる点は、このトレーニングモードでは 1 つの画像内に複数の認識対象が含まれていてもよいことです。そのため、複数の対象を撮影する際にグループ分けする必要はありません。撮影する素材の総数は 100 枚より多くする必要があります。
撮影完了後、アノテーションツール LabelIMG を使用して素材内の認識対象にラベルを付け、ラベルファイルを生成します。ユーザーは自身で Python 環境をインストールし、コマンドラインで以下のコマンドを実行して、付属の pip パッケージ管理ツールで LabelIMG をインストールできます。
pip install LabelIMG インストール完了後、コマンドラインで「LabelIMG」を実行すると、ラベル付けツールが開きます。
LabelIMG 1. ラベル付けツールをYoloモードに切り替える->2.画像の保存ディレクトリを開く->3.ラベルファイルの保存ディレクトリを選択->自動保存モードを設定。
「W」キーを押して対象の境界ボックスを描画し、対象に名前を付けます。(名前を追加するとリストに記録され、以降のラベル付けで繰り返し入力せずに直接選択して使用できます)次のボタンをクリックして画像を切り替え、すべての素材のラベル付けが完了するまで続けます。
ラベルファイルの追加に加えて、v-training.config 設定ファイルを手動で追加する必要があります。これは、今回のトレーニングにいくつの認識対象が含まれているかをトレーニングサービスに伝えるためのものです。(上図の例のように 2 つの認識対象にラベルを付けた場合、設定ファイルにクラス数を 2 と記入します。形式は以下のとおりです)
{
"classes":2
} 上記の操作が完了したら、すべての素材を同じフォルダーに配置します。以下のディレクトリ構造を参考にしてください。すべてのファイルを選択し、zip 形式の圧縮ファイルに圧縮してトレーニングにアップロードします。
folder----------------------
|--v-training.config
|--1.jpg
|--1.txt
|--2.jpg
|--2.txt
..... 上記の操作が完了したら、すべての素材を同じフォルダーに配置します。以下のディレクトリ構造を参考にしてください。すべてのファイルを選択し、zip 形式の圧縮ファイルに圧縮してトレーニングにアップロードします。
素材の圧縮ファイルのアップロード方法とモデルのダウンロード方法は、上記の分類モードトレーニングの操作を参照してください。検出モードのトレーニングが完了すると、boot.py と xxxx.model ファイルが返されます。これらを SD カードにコピーし、SD カードをデバイスに挿入して電源を入れると、認識プログラムが実行されます。