Đồng bộ Website
Xem dạng Markdown
Tính năng **Đồng bộ Website** cho phép bạn nhập trực tiếp nội dung từ trang web doanh nghiệp, trang tài liệu hoặc cửa hàng trực tuyến vào một [Bộ sưu tập](/vi/knowledge-base/collections/) mà không cần sao chép thủ công.
:::note[Quyền truy cập]
Bạn cần quyền **`ai:manage`** hoặc **`workspace:manage`** để khám phá, nhập, chỉnh sửa hoặc đồng bộ lại website trong Kho tri thức.
:::
## Quy trình 2 bước thêm Website
1. Mở một bộ sưu tập tại **Xây dựng → Kiến thức** (`/{slug}/ai-kb/{collectionId}`), nhấn thêm kiến thức và chọn **Đồng bộ Website**.
2. **Bước 1 — Dán link website**:
- Chọn **Bộ sưu tập mục tiêu** (nếu chưa chọn trước).
- Nhập URL website hợp lệ (`http://` hoặc `https://`).
- Nhấn khám phá để hệ thống quét cấu trúc liên kết (mặc định khám phá tối đa **1.000 trang**).
3. **Bước 2 — Kiểm duyệt trang**:
- Các trang quét được tự động gom nhóm theo cấu trúc thư mục đường dẫn (ví dụ: trang đơn lẻ và các chuyên mục có trang con).
- Tùy chỉnh **Tên hiển thị**, **Biểu tượng / Ảnh đại diện** và chọn lọc chính xác các URL muốn nhập.
- Nhấn nhập để đưa các trang vào hàng đợi xử lý nền.
:::caution[Kiểm tra trùng tên miền & Giới hạn bảo mật]
- Mỗi tên miền (chuẩn hóa bỏ `www.`) chỉ có thể thêm **một lần** trong cùng một bộ sưu tập. Nếu tên miền đã tồn tại, hãy mở trang chi tiết website đó để đồng bộ lại.
- Để phòng chống SSRF, hệ thống chặn mọi URL trỏ tới `localhost`, `.local` hoặc dải địa chỉ IP nội bộ (`127.x`, `10.x`, `192.168.x`, `172.16-31.x`, `169.254.x`).
:::
## Cơ chế thu thập & Lập chỉ mục nền
Khi bạn xác nhận nhập hoặc đồng bộ lại, hệ thống xử lý bất đồng bộ theo 2 giai đoạn:
1. **Giai đoạn 1 — Thu thập nội dung (`CRAWLING`)**: Worker tải nội dung trang (có điều tiết tối thiểu **600 ms** giữa các yêu cầu tới cùng một tên miền để tránh bị chặn) và chuyển đổi HTML sang Markdown sạch (loại bỏ thẻ `script`, `style`, `iframe`, `svg`). Nếu trang quá ngắn (dưới 20 ký tự) hoặc hết thời gian chờ (timeout 8 giây), tác vụ sẽ ghi nhận lỗi.
2. **Giai đoạn 2 — Lập chỉ mục vector (`WAITING_INDEX` → `INDEXING` → `READY`)**: Hệ thống so sánh mã băm nội dung (`SHA-256`). Nếu nội dung trang **không thay đổi** và đã ở trạng thái `READY`, bước tạo vector lại sẽ được bỏ qua để tiết kiệm tài nguyên.
## Quản lý & Đồng bộ lại Website
Mở trang chi tiết website (`/{slug}/ai-kb/{collectionId}/website-sync/{websiteId}` hoặc trong tab Kiến thức của Bot) để quản lý toàn bộ các trang đã nhập:
- **Trạng thái tổng hợp của website**: Tự động tổng hợp từ trạng thái các trang con — hiển thị **`SYNCING`** nếu có bất kỳ trang nào đang xử lý (`PENDING`, `CRAWLING`, `SYNCING`, `WAITING_INDEX`, `INDEXING`), **`FAILED`** nếu có trang lỗi, và **`READY`** khi tất cả trang đã hoàn tất.
- **Đồng bộ lại từng trang hoặc toàn bộ website**: Nhấn **Đồng bộ lại** trên một trang (`POST /kb/{id}/resync`) hoặc trên toàn bộ website (`POST /kb/websites/{id}/resync`) bất cứ khi nào nội dung trên web gốc thay đổi.
- **Bật / Tắt từng trang**: Dùng công tắc bật/tắt (`isActive`) để tạm ẩn một trang web khỏi kết quả tra cứu của Bot AI mà không cần xóa.
- **Đổi tên hiển thị hoặc Xóa website**: Chỉnh sửa tên hiển thị (tên miền gốc luôn cố định) hoặc xóa toàn bộ website cùng các trang con của nó.
:::note[Chế độ chỉ đọc]
Các nguồn loại **Trang Website (`WEB_PAGE`)** được hiển thị ở chế độ **chỉ đọc** trong trình xem chi tiết để đảm bảo dữ liệu luôn đồng bộ với URL gốc. Khi cần cập nhật nội dung, hãy sửa trên website của bạn rồi nhấn **Đồng bộ lại**.
:::
Tính năng Đồng bộ Website cho phép bạn nhập trực tiếp nội dung từ trang web doanh nghiệp, trang tài liệu hoặc cửa hàng trực tuyến vào một Bộ sưu tập mà không cần sao chép thủ công.
Quy trình 2 bước thêm Website
Phần tiêu đề “Quy trình 2 bước thêm Website”- Mở một bộ sưu tập tại Xây dựng → Kiến thức (
/{slug}/ai-kb/{collectionId}), nhấn thêm kiến thức và chọn Đồng bộ Website. - Bước 1 — Dán link website:
- Chọn Bộ sưu tập mục tiêu (nếu chưa chọn trước).
- Nhập URL website hợp lệ (
http://hoặchttps://). - Nhấn khám phá để hệ thống quét cấu trúc liên kết (mặc định khám phá tối đa 1.000 trang).
- Bước 2 — Kiểm duyệt trang:
- Các trang quét được tự động gom nhóm theo cấu trúc thư mục đường dẫn (ví dụ: trang đơn lẻ và các chuyên mục có trang con).
- Tùy chỉnh Tên hiển thị, Biểu tượng / Ảnh đại diện và chọn lọc chính xác các URL muốn nhập.
- Nhấn nhập để đưa các trang vào hàng đợi xử lý nền.
Cơ chế thu thập & Lập chỉ mục nền
Phần tiêu đề “Cơ chế thu thập & Lập chỉ mục nền”Khi bạn xác nhận nhập hoặc đồng bộ lại, hệ thống xử lý bất đồng bộ theo 2 giai đoạn:
- Giai đoạn 1 — Thu thập nội dung (
CRAWLING): Worker tải nội dung trang (có điều tiết tối thiểu 600 ms giữa các yêu cầu tới cùng một tên miền để tránh bị chặn) và chuyển đổi HTML sang Markdown sạch (loại bỏ thẻscript,style,iframe,svg). Nếu trang quá ngắn (dưới 20 ký tự) hoặc hết thời gian chờ (timeout 8 giây), tác vụ sẽ ghi nhận lỗi. - Giai đoạn 2 — Lập chỉ mục vector (
WAITING_INDEX→INDEXING→READY): Hệ thống so sánh mã băm nội dung (SHA-256). Nếu nội dung trang không thay đổi và đã ở trạng tháiREADY, bước tạo vector lại sẽ được bỏ qua để tiết kiệm tài nguyên.
Quản lý & Đồng bộ lại Website
Phần tiêu đề “Quản lý & Đồng bộ lại Website”Mở trang chi tiết website (/{slug}/ai-kb/{collectionId}/website-sync/{websiteId} hoặc trong tab Kiến thức của Bot) để quản lý toàn bộ các trang đã nhập:
- Trạng thái tổng hợp của website: Tự động tổng hợp từ trạng thái các trang con — hiển thị
SYNCINGnếu có bất kỳ trang nào đang xử lý (PENDING,CRAWLING,SYNCING,WAITING_INDEX,INDEXING),FAILEDnếu có trang lỗi, vàREADYkhi tất cả trang đã hoàn tất. - Đồng bộ lại từng trang hoặc toàn bộ website: Nhấn Đồng bộ lại trên một trang (
POST /kb/{id}/resync) hoặc trên toàn bộ website (POST /kb/websites/{id}/resync) bất cứ khi nào nội dung trên web gốc thay đổi. - Bật / Tắt từng trang: Dùng công tắc bật/tắt (
isActive) để tạm ẩn một trang web khỏi kết quả tra cứu của Bot AI mà không cần xóa. - Đổi tên hiển thị hoặc Xóa website: Chỉnh sửa tên hiển thị (tên miền gốc luôn cố định) hoặc xóa toàn bộ website cùng các trang con của nó.