# Đồng bộ Website

Tính năng **Đồng bộ Website** cho phép bạn nhập trực tiếp nội dung từ trang web doanh nghiệp, trang tài liệu hoặc cửa hàng trực tuyến vào một [Bộ sưu tập](/vi/knowledge-base/collections/) mà không cần sao chép thủ công.

:::note[Quyền truy cập]
Bạn cần quyền **`ai:manage`** hoặc **`workspace:manage`** để khám phá, nhập, chỉnh sửa hoặc đồng bộ lại website trong Kho tri thức.
:::

## Quy trình 2 bước thêm Website

1. Mở một bộ sưu tập tại **Xây dựng → Kiến thức** (`/{slug}/ai-kb/{collectionId}`), nhấn thêm kiến thức và chọn **Đồng bộ Website**.
2. **Bước 1 — Dán link website**:
   - Chọn **Bộ sưu tập mục tiêu** (nếu chưa chọn trước).
   - Nhập URL website hợp lệ (`http://` hoặc `https://`).
   - Nhấn khám phá để hệ thống quét cấu trúc liên kết (mặc định khám phá tối đa **1.000 trang**).
3. **Bước 2 — Kiểm duyệt trang**:
   - Các trang quét được tự động gom nhóm theo cấu trúc thư mục đường dẫn (ví dụ: trang đơn lẻ và các chuyên mục có trang con).
   - Tùy chỉnh **Tên hiển thị**, **Biểu tượng / Ảnh đại diện** và chọn lọc chính xác các URL muốn nhập.
   - Nhấn nhập để đưa các trang vào hàng đợi xử lý nền.

:::caution[Kiểm tra trùng tên miền & Giới hạn bảo mật]
- Mỗi tên miền (chuẩn hóa bỏ `www.`) chỉ có thể thêm **một lần** trong cùng một bộ sưu tập. Nếu tên miền đã tồn tại, hãy mở trang chi tiết website đó để đồng bộ lại.
- Để phòng chống SSRF, hệ thống chặn mọi URL trỏ tới `localhost`, `.local` hoặc dải địa chỉ IP nội bộ (`127.x`, `10.x`, `192.168.x`, `172.16-31.x`, `169.254.x`).
:::

## Cơ chế thu thập & Lập chỉ mục nền

Khi bạn xác nhận nhập hoặc đồng bộ lại, hệ thống xử lý bất đồng bộ theo 2 giai đoạn:

1. **Giai đoạn 1 — Thu thập nội dung (`CRAWLING`)**: Worker tải nội dung trang (có điều tiết tối thiểu **600 ms** giữa các yêu cầu tới cùng một tên miền để tránh bị chặn) và chuyển đổi HTML sang Markdown sạch (loại bỏ thẻ `script`, `style`, `iframe`, `svg`). Nếu trang quá ngắn (dưới 20 ký tự) hoặc hết thời gian chờ (timeout 8 giây), tác vụ sẽ ghi nhận lỗi.
2. **Giai đoạn 2 — Lập chỉ mục vector (`WAITING_INDEX` → `INDEXING` → `READY`)**: Hệ thống so sánh mã băm nội dung (`SHA-256`). Nếu nội dung trang **không thay đổi** và đã ở trạng thái `READY`, bước tạo vector lại sẽ được bỏ qua để tiết kiệm tài nguyên.

## Quản lý & Đồng bộ lại Website

Mở trang chi tiết website (`/{slug}/ai-kb/{collectionId}/website-sync/{websiteId}` hoặc trong tab Kiến thức của Bot) để quản lý toàn bộ các trang đã nhập:

- **Trạng thái tổng hợp của website**: Tự động tổng hợp từ trạng thái các trang con — hiển thị **`SYNCING`** nếu có bất kỳ trang nào đang xử lý (`PENDING`, `CRAWLING`, `SYNCING`, `WAITING_INDEX`, `INDEXING`), **`FAILED`** nếu có trang lỗi, và **`READY`** khi tất cả trang đã hoàn tất.
- **Đồng bộ lại từng trang hoặc toàn bộ website**: Nhấn **Đồng bộ lại** trên một trang (`POST /kb/{id}/resync`) hoặc trên toàn bộ website (`POST /kb/websites/{id}/resync`) bất cứ khi nào nội dung trên web gốc thay đổi.
- **Bật / Tắt từng trang**: Dùng công tắc bật/tắt (`isActive`) để tạm ẩn một trang web khỏi kết quả tra cứu của Bot AI mà không cần xóa.
- **Đổi tên hiển thị hoặc Xóa website**: Chỉnh sửa tên hiển thị (tên miền gốc luôn cố định) hoặc xóa toàn bộ website cùng các trang con của nó.

:::note[Chế độ chỉ đọc]
Các nguồn loại **Trang Website (`WEB_PAGE`)** được hiển thị ở chế độ **chỉ đọc** trong trình xem chi tiết để đảm bảo dữ liệu luôn đồng bộ với URL gốc. Khi cần cập nhật nội dung, hãy sửa trên website của bạn rồi nhấn **Đồng bộ lại**.
:::