小さなファイルを一歩ずつ、ゼロからニューラルネットワークを構築

機能

• ファイルread_file、write_file、edit_file、move_file、copy_file、list_dir、grep、globはチャットの作業フォルダで動作し、作成・編集・読取されたファイルのカウンターを表示します。
• ShellWindows、WSL、SSH経由で、トレーニングコマンドやテストなどのターミナルコマンドを実行し、実際の終了コードを報告します。危険なコマンドはブロックされます。
• Webweb_searchはウェブを検索し、http_getは1つのドキュメントページを読み取ります。これにより、エージェントはエラーメッセージの意味を調べることができます。
• スクリーンショットと画像gen_imageは実際の画像ファイルを保存し、ocrは保存されたスクリーンショットからテキストを読み取ります。例えば、キャプチャした損失チャート上の数字など。
• オーケストレーションtaskは並列サブエージェントを実行し、run_on_modelは大きなモデルにハードステップを送信し、skillは再利用可能なプレイブックを保存して再実行可能にします。
• 承認モードAuto-runは即座に実行し、Ask firstは変更を行うアクションの前に一時停止し、差分を表示して承認を求めます。Plan onlyは計画のみを記述し、何も実行しません。
• Cron定期的にプロンプトを実行します。例えば、毎晩小さな実験を再実行し、その損失をCSVファイルに書き込み、翌日それを読み取るなど。
• モデル標準APIエンドポイント経由でクラウドモデルを接続するか、自分のPC上のモデルを使用するか、エンドポイントが不要な内蔵モデルを使用します。

チュートリアル

Pythonでパーセプトロンを実装する

Pythonでニューラルネットワークをゼロから構築する際、パーセプトロンの理解は最初のステップです。小さなファイルの作成を依頼すると、write_fileは小さな例のリストと、固定学習率で短い重み更新ループの中でANDゲートを学習する1つのニューロンを持つPythonファイルを作成します。ShellはあなたのPC上でそれを実行し、チャットカードに重みと実際の終了コードを出力します。最初のニューラルネットワークで助けが必要な場合は、1つのニューロンから始めましょう。フレームワークは必要なく、ファイルは一度に読み切れる長さです。Ask firstモードでは、カード内の新しいファイルを読み取り、保存する前に承認し、その後、出力された重みを自分で確認します。

過学習の検出と軽減

過学習は、トレーニング損失が減少し続ける一方で、検証データでの損失が改善しなくなったり増加したりしたときに現れます。grepはログ内の両方の損失列を検索し、read_fileはトレーニングスクリプトを開いて、エージェントがモデルサイズや正則化設定を確認できるようにします。一般的な解決策は、データを増やす、モデルを小さくする、正則化、または早期終了です。各実験を小さく反復可能に保ち、数値の変化に明確な原因が1つだけあるようにします。edit_fileではレビュー用の差分が得られ、Ask firstモードでは承認されるまで何も保存されません。その後、Shellはテストコマンドを再実行して終了コードを返し、モデルが未見のデータに対して、テストセットを最終まで手付かずのままにして、変更前後の検証損失を比較します。

入力形状のエラーを修正

入力形状のエラーとは、ネットワークに供給されるデータが最初のレイヤーと一致しないため、スクリプトが一致しなかった2つの形状を指定するエラーメッセージとともに停止することを意味します。ニューラルネットワークの入力形状はデータと一致し、出力形状はラベルの数と一致する必要があります。エージェントはread_fileでPythonのニューラルネットワークコードを開き、grepでレイヤー定義とバッチのリシェイプ箇所を見つけ、edit_fileで1行の変更を提案します。Plan onlyは何も実行しないので、まず説明を読むために使用してください。その後Ask firstに切り替え、差分を承認し、Shellにスクリプトを再実行させ、終了コードだけを信じるのではなく、出力された形状を自分で読み取ります。

トレーニングメトリクスをCSVファイルに記録

実験を比較するには、画面だけでなく、ファイル内の各エポックの損失が必要です。write_fileは損失ログを作成し、append_fileは各エポックの後に1行を追加し、read_fileはスクリプト内で損失が計算される場所を検索します。edit_fileはログ記録の行を追加し、差分を表示します。Shellはトレーニングコマンドを実行し、実際の出力と終了コードをチャットカードに返します。Ask firstはスクリプトが変更される前に一時停止するため、カード内の新しい行をまず読むことができます。その後CSVファイルを開き、2つの実行を並べて配置し、変更を保持する前にどの設定を変更したかをメモします。ファイルは作業フォルダ内のプレーンテキストであり、read_fileは次のチャットでそれを再度読み込んで、停止した場所から継続できます。