Chọn mô hình đứng sau các lần rà log của bạn
SmartCode Relay hoạt động với nhà cung cấp AI đám mây qua endpoint API chuẩn, với mô hình chạy cục bộ trên máy tính của bạn, hoặc với mô hình tích hợp. Có ba lựa chọn. Lựa chọn của bạn quyết định văn bản nào rời khỏi máy, nên hãy đọc ghi chú về quyền riêng tư dưới mỗi phương án.
Ba cách kết nối một mô hình
Nhà cung cấp AI đám mây
Nhà cung cấp AI đám mây kết nối qua endpoint API chuẩn và phù hợp với các bước khó, chẳng hạn đọc một bộ cài đặt máy chủ dài. Văn bản prompt, kể cả văn bản tệp mà tác tử đọc, được gửi tới nhà cung cấp đó, nên hãy xóa địa chỉ IP khách truy cập khỏi log đã xuất khi có thể. Hãy xem điều khoản của nhà cung cấp. Chi phí, nếu có, do nhà cung cấp tính.
Mô hình trên máy tính của bạn
Mô hình chạy cục bộ trên máy tính của bạn phù hợp với log và cài đặt mà bạn không muốn gửi đi đâu. Không có gì rời khỏi máy. Thời gian phản hồi và cửa sổ ngữ cảnh khả dụng phụ thuộc vào phần cứng của bạn, nên hãy nhấn Test để xem cả hai trước khi tin cậy mô hình với một log dài.
Mô hình tích hợp
Mô hình tích hợp là lựa chọn thứ ba, bên cạnh nhà cung cấp AI đám mây và mô hình chạy cục bộ trên máy tính của bạn. Prompt chỉ đi tới endpoint mô hình bạn chọn, và trang quyền riêng tư liệt kê các tính năng mạng tùy chọn có dùng mạng. Hãy đọc nó trước.
Nút Test hiển thị gì
Nút Test kiểm tra một endpoint trước khi bạn bắt đầu rà log. Nó hiển thị thời gian phản hồi và cửa sổ ngữ cảnh, cho biết bao nhiêu văn bản log và cài đặt vừa trong một yêu cầu. Nếu bài kiểm tra thất bại, hãy kiểm tra thông tin endpoint trước. Kiểm tra lại sau khi thay đổi.
Chọn mô hình theo tác vụ
Dùng mô hình lớn hơn cho những phần khó, như đọc một cấu hình dài với nhiều quy tắc, và mô hình nhỏ hơn cho các chỉnh sửa nhỏ như giá trị thời gian chờ. run_on_model chuyển một bước khó sang mô hình lớn hơn, còn phần còn lại của cuộc trò chuyện vẫn chạy với mô hình nhỏ. Chỉ bước đó được chuyển.
Chất lượng khác nhau giữa các mô hình, nên hãy xem lại từng diff trước khi chấp nhận. Ở chế độ Ask first, tác tử dừng trước mỗi thay đổi, và bạn kiểm thử kết quả bằng lệnh kiểm thử riêng trên một bản sao. Mô hình có mắc lỗi.
