軟件介紹

ScrapydWeb官方版是一款能夠幫助用戶進(jìn)行Scrapyd集群管理的爬蟲管理平臺(tái)，我們可以通過ScrapydWeb來對(duì)Scrapy日志進(jìn)行分析和可視化處理，從而方便你管理Scrapyd集群。

ScrapydWeb官方版軟件簡介

ScrapydWeb(爬蟲管理平臺(tái))是一個(gè)用于Scrapyd集群管理的web應(yīng)用，支持Scrapy日志分析和可視化，支持Scrapyd集群管理、日志可視化、定時(shí)任務(wù)、郵件通知、移動(dòng)端UI！

軟件特色

Scrapyd 集群管理

支持所有 Scrapyd JSON API

支持通過分組和過濾來選擇若干個(gè)節(jié)點(diǎn)

一次操作, 批量執(zhí)行

Scrapy 日志分析

數(shù)據(jù)統(tǒng)計(jì)

進(jìn)度可視化

日志分類

增強(qiáng)功能

自動(dòng)打包項(xiàng)目

集成  LogParser

定時(shí)器任務(wù)

監(jiān)控和警報(bào)

移動(dòng)端 UI

web UI 支持基本身份認(rèn)證

ScrapydWeb官方版常見問題

1、scrapy是什么？

一個(gè)爬蟲框架，你可以創(chuàng)建一個(gè)scrapy項(xiàng)目

2、scrapyd是什么？

相當(dāng)于一個(gè)組件，能夠?qū)�scrapy項(xiàng)目進(jìn)行遠(yuǎn)程部署，調(diào)度使用等因此scrapyd可以看作一個(gè)cs（client-server）程序，因此毫無疑問我們需要安裝和配置scrapyd(server)和連接的scrapy-client(client)

3、scrapydweb是什么？

是一個(gè)基于scrapyd的可視化組件，集成并且提供更多可視化功能和更優(yōu)美的界面

總結(jié)：三者如同葫蘆套娃，總共三層