Xây dựng mạng neural từ đầu, từng file nhỏ một

Tính năng

• Fileread_file, write_file, edit_file, move_file, copy_file, list_dir, grep và glob hoạt động trong thư mục làm việc của cuộc trò chuyện; một bộ đếm hiển thị số file đã tạo, chỉnh sửa và đọc.
• Shellchạy các lệnh terminal như lệnh training và kiểm tra của bạn, trên Windows, WSL hoặc qua SSH, và báo cáo mã thoát thực tế. Các lệnh nguy hiểm bị chặn.
• Webweb_search tìm kiếm trên web và http_get đọc một trang tài liệu, để agent có thể tra cứu ý nghĩa của thông báo lỗi.
• Ảnh chụp màn hình và hình ảnhgen_image lưu các file hình ảnh thực tế, và ocr đọc văn bản từ ảnh chụp màn hình đã lưu, ví dụ như các số trên biểu đồ loss bạn đã chụp.
• Điều phốitask chạy các agent con song song, run_on_model gửi một bước cứng cho một mô hình lớn hơn, và skill lưu một quy trình có thể tái sử dụng mà bạn có thể chạy lại.
• Chế độ phê duyệtAuto-run thực hiện ngay lập tức, Ask first tạm dừng trước các hành động thay đổi thứ gì đó và hiển thị diff để chấp nhận, và Plan only viết kế hoạch và không chạy gì.
• Cronchạy một prompt theo lịch trình, ví dụ như chạy lại một thí nghiệm nhỏ mỗi đêm và ghi loss của nó vào một file CSV mà bạn đọc vào ngày hôm sau.
• Mô hìnhkết nối một mô hình đám mây qua điểm cuối API tiêu chuẩn hoặc một mô hình trên PC của riêng bạn, hoặc sử dụng mô hình tích hợp sẵn, sẵn sàng mà không cần điểm cuối của riêng bạn.

Hướng dẫn từng bước

Viết một perceptron bằng Python thuần

Hiểu về perceptron là bước đầu tiên khi bạn muốn xây dựng mạng neural từ đầu trong Python. Bạn yêu cầu một file nhỏ, và write_file tạo một file Python thuần với một danh sách nhỏ các ví dụ và một nơ-ron học cổng AND với tốc độ học cố định trong một vòng lặp ngắn các cập nhật trọng số. Shell chạy nó trên PC của bạn và in trọng số trong thẻ trò chuyện, cùng với mã thoát thực tế. Nếu bạn cần trợ giúp với mạng neural đầu tiên, hãy bắt đầu với một nơ-ron. Không cần framework nào, và file đủ ngắn để đọc hết trong một lần. Ở chế độ Ask first, bạn đọc file mới trong thẻ và chấp nhận nó trước khi nó được lưu, sau đó bạn tự kiểm tra các trọng số đã in.

Tìm và giảm hiện tượng overfitting

Overfitting xuất hiện khi loss training liên tục giảm trong khi loss trên dữ liệu kiểm tra riêng biệt ngừng cải thiện hoặc tăng lên. grep tìm kiếm nhật ký của bạn cho cả hai cột loss, và read_file mở tập lệnh training để agent có thể xem kích thước mô hình và bất kỳ cài đặt regularisation nào. Các biện pháp khắc phục phổ biến là thêm dữ liệu, giảm kích thước mô hình, regularisation hoặc early stopping. Giữ mỗi thí nghiệm nhỏ và có thể lặp lại, để một thay đổi trong các con số có một nguyên nhân rõ ràng. Với edit_file, bạn nhận được diff để xem lại, và ở chế độ Ask first, không có gì được lưu trước khi bạn chấp nhận nó. Shell sau đó chạy lại lệnh kiểm tra của bạn và trả về mã thoát, và bạn so sánh loss kiểm tra trước và sau thay đổi trên dữ liệu mà mô hình chưa từng thấy, với tập kiểm tra được giữ nguyên cho đến cuối.

Sửa lỗi kích thước đầu vào

Lỗi kích thước đầu vào có nghĩa là dữ liệu đưa vào mạng không khớp với lớp đầu tiên, vì vậy tập lệnh của bạn dừng lại với thông báo lỗi nêu rõ 2 kích thước không thể khớp. Kích thước đầu vào cho mạng neural phải khớp với dữ liệu, và kích thước đầu ra phải khớp với số nhãn. Agent mở mã mạng neural Python của bạn bằng read_file, sử dụng grep để tìm các định nghĩa lớp và nơi các batch được reshape, và đề xuất một thay đổi một dòng với edit_file. Plan only không chạy gì, vì vậy hãy dùng nó trước để đọc giải thích. Sau đó chuyển sang Ask first, chấp nhận diff, để Shell chạy lại tập lệnh và tự đọc các kích thước đã in thay vì chỉ tin vào mã thoát.

Ghi các chỉ số training vào file CSV

Để so sánh các thí nghiệm, bạn cần loss của mỗi epoch trong một file, không chỉ trên màn hình. write_file tạo nhật ký loss, hoặc append_file thêm một hàng sau mỗi epoch, và read_file tìm vị trí trong tập lệnh của bạn nơi loss được tính toán. edit_file thêm các dòng ghi nhật ký và hiển thị diff. Shell chạy lệnh training của bạn và trả về kết quả thực tế và mã thoát trong thẻ trò chuyện. Ask first tạm dừng trước khi tập lệnh được thay đổi, vì vậy bạn có thể đọc các dòng mới trong thẻ trước. Mở file CSV sau đó, đặt 2 lần chạy cạnh nhau và ghi chú các cài đặt bạn đã thay đổi trước khi giữ lại thay đổi. File là văn bản thuần trong thư mục làm việc của bạn, và read_file có thể tải lại nó trong cuộc trò chuyện tiếp theo để tiếp tục nơi bạn đã dừng lại.