LibreCrawl là phần mềm phân tích SEO website tương tự như Screaming Frog hay các phần mềm crawl website tương tự khác, khác biệt ở chỗ nó là phần mềm mã nguồn mở, miễn phí cho người dùng và được phát triển trên github.
Chức năng chính của LibreCrawl
LibreCrawl là công cụ thu thập dữ liệu (crawl) website, cung cấp thông tin chi tiết về các trang, liên kết, các yếu tố SEO và hiệu suất của website. Ứng dụng được phát triển bằng Python Flask với giao diện web hiện đại, hỗ trợ nhiều người dùng truy cập và sử dụng đồng thời.
Hiện dự án đang được 170 Fork và 799 sao, xem thêm thông tin dự án tại Github: https://github.com/PhialsBasement/LibreCrawl
Tính năng chính của LibreCrawl
- Hỗ trợ nhiều người dùng (Multi-tenancy): Nhiều người có thể thực hiện quá trình crawl cùng lúc với các phiên làm việc độc lập.
- Tùy chỉnh giao diện bằng CSS: Cho phép áp dụng các tệp CSS riêng để thay đổi giao diện theo nhu cầu.
- Lưu cài đặt trên trình duyệt: Các thiết lập được lưu trong
localStorage, giúp giữ nguyên cấu hình trên từng trình duyệt. - Kết xuất JavaScript: Hỗ trợ crawl các website sử dụng React, Vue, Angular và các framework JavaScript khác.
- Phân tích SEO: Thu thập tiêu đề (title), mô tả (meta description), các thẻ heading và nhiều thành phần SEO khác.
- Phân tích liên kết: Theo dõi các liên kết nội bộ và liên kết ngoài, đồng thời phân tích mối quan hệ giữa chúng.
- Tích hợp Google PageSpeed Insights: Phân tích Core Web Vitals và các chỉ số hiệu suất của website.
- Xuất dữ liệu ở nhiều định dạng: Hỗ trợ xuất kết quả sang CSV, JSON hoặc XML.
- Phát hiện lỗi SEO: Tự động nhận diện các vấn đề SEO phổ biến trên website.
- Theo dõi tiến trình theo thời gian thực: Hiển thị trạng thái crawl và các thống kê trực tiếp trong quá trình thực hiện.
1. Crawl toàn bộ link website
Tương tự như Screaming Frog, Librecrawl cũng có thể quét toàn bộ URL có trên website của bạn, bao gồm cả link nội bộ ( Internal link ) và link ra ngoài ( External link ). Cũng như quét toàn bộ các thông tin khác của bài viết, sản phẩm như tiêu đề, meta, đếm số từ, ảnh…. rất nhiều thông số khác nhau.
Tốc độ crawl vào khoảng 2,44url/s mình thấy khá nhanh, với website khoảng gần 600 URL như mình mất có vài phút là xong.
2. Đánh giá website và sửa lỗi
Tuy Librecrawl không có tính năng tự động sửa lỗi giúp bạn, nhưng phần mềm đã tự động tìm lỗi và hiển thị nó, việc của bạn là chỉnh sửa các phần bị lỗi đó, ví dụ như thiếu thẻ H1, nội dung mỏng, thiếu alt text…
Tính năng đánh giá EEAT trên Librecrawl cũng có luôn
Ngoài ra còn khá nhiều tính năng khác anh em làm Seo website sẽ quan tâm và tự khám phá nhé.
Hướng dẫn cài đặt Librecrawl
Cài đặt phần mềm mã nguồn mở nó không giống với phần mềm đóng gói sẵn thông thường như khi anh em cài photoshop hay autocad. Ở đây để cài được Librecrawl, anh em cần một môi trường để cài đặt riêng cho nó là Docker. Anh em có thể thử theo hướng dẫn của DEV như sau:
The easiest way to run LibreCrawl – just run the startup script and it handles everything:
Windows:
- Download toàn bộ source code về: bấm vào nút < > code màu xanh rồi download zip
- Chạy file start-librecrawl.bat và để hệ thống tự làm việc
Linux/Mac:
- chmod +x start-librecrawl.sh
- ./start-librecrawl.sh
What it does automatically:
1. Checks for Docker – if found, runs LibreCrawl in a container (recommended)
2. If no Docker, checks for Python – if not found, downloads and installs it (Windows only temporairly disabled since it causes some bat issues)
3. Installs all dependencies automatically (
pip install -r requirements.txt)4. Installs Playwright browsers for JavaScript rendering
5. Starts LibreCrawl in local mode (no authentication)
6. Opens your browser to
http://localhost:5000
Cách 2. Cài đặt bằng tay
Ở đây mình dùng Windows 11 64 bit, nên sẽ cài docker, ubuntu trên windows và cài Librecrawl lên docker. Các bạn dùng hệ điều hành Linux hay MacOs tự tìm hiểu thêm nhé.
Bước 1: Cài Docker Desktop
Tải và cài Docker Desktop cho Windows.
Trong quá trình cài đặt:
- Bật WSL2 nếu được yêu cầu.
- Khởi động lại máy nếu Docker yêu cầu.
Sau khi cài docker xong mà bị báo lỗi: There was a problem with WSL An error occurred while running a WSL command. Please check your WSL configuration and try again. Thì tức là dịch vụ máy ảo với Ubuntu chưa được cài đặt, chuyển đến bước tiếp theo.
Bước 2: Cài đặt WSL2 và Ubuntu
Kiểm tra WSL
Mở Command Prompt với quyền Administrator và chạy: wsl –status
Sau đó chạy tiếp: wsl –install
Sau khi chạy xong, hệ thống báo như này là thành công
Khởi động lại máy và vào lại Docker xem đã được chưa, đăng ký tài khoản và đăng nhập docker nữa là xong phần cài docker.
Bước 3. Cài đặt LibreCrawl
- Download toàn bộ source code về: bấm vào nút < > code màu xanh rồi download zip tại đường dẫn: https://github.com/PhialsBasement/LibreCrawl.git
- Giải nén file zip ra thư mục Librecrawl
- Mở Terminal (PowerShell hoặc Command Prompt) ngay tại thư mục vừa giải nén
- Chỉnh sửa file .env trong folder: tìm dòng “LOCAL_MODE=false” đổi thành “LOCAL_MODE=true” để dùng phần mềm trên localhost không cần tài khoản đăng nhập.
- Chạy lệnh ” docker compose up -d ” để hệ thống tự tải các thành phần cần thiết về, lần đầu có thể mất vài phút mới xong.
- Xong chạy thử http://localhost:5000 trên trình duyệt xem phần mềm đã hoạt động chưa.
- Trên Docker – Containers mà đã hiện Librecrawl như này thì tức là đã cài xong.
Trên đây Gencontent đã hướng dẫn bạn cài đặt LibreCrawl làm phần mềm SEO thay thế cho Screaming Frog, bạn dùng thử xem, 2 phần mềm này có những ưu điểm và nhược điểm riêng. Bạn dùng xong để lại đánh giá để chúng ta cùng thảo luận nhé.