火車(chē)頭采集器是一個(gè)供各大主流文章系統(tǒng),使用火車(chē)頭采集器你可以瞬間建立一個(gè)擁有龐大內(nèi)容的網(wǎng)站。本站提供火車(chē)頭采集器官方版下載。 火車(chē)采集器(LocoySpider)軟件特性 火車(chē)頭采集器是一個(gè)供各大主流文章系統(tǒng),論壇系統(tǒng)等使用的多線(xiàn)程內(nèi)容采集發(fā)布程序。使用火車(chē)頭采集器你可以瞬間建立一個(gè)擁有龐大內(nèi)容的網(wǎng)站。完美下載提供火車(chē)頭采集器官方版下載。 火車(chē)采集器系統(tǒng)支持遠(yuǎn)程圖片下載,圖片批量水印,F(xiàn)lash下載,下載文件地址探測(cè),自制作發(fā)表的cms模塊參數(shù),自定義發(fā)表的內(nèi)容等有關(guān)采集器。火車(chē)采集器對(duì)于數(shù)據(jù)的采集其可以分為兩部分,一是采集數(shù)據(jù),二是發(fā)布數(shù)據(jù)。 火車(chē)采集器功能: 火車(chē)采集器(LocoySpider)是一款功能強(qiáng)大且易于上手的專(zhuān)業(yè)采集軟件,強(qiáng)大的內(nèi)容采集和數(shù)據(jù)導(dǎo)入功能能將您采集的任何網(wǎng)頁(yè)數(shù)據(jù)發(fā)布到遠(yuǎn)程服務(wù)器,自定 火車(chē)頭采集器標(biāo)志 火車(chē)頭采集器標(biāo)志 義用戶(hù)cms系統(tǒng)模塊,不管你的網(wǎng)站是什么系統(tǒng),都有可能使用上火車(chē)采集器,系統(tǒng)自帶的模塊文件支持:風(fēng)訊文章,動(dòng)易文章,動(dòng)網(wǎng)論壇,PHPWIND論壇,Discuz論壇,phpcms文章,phparticle文章,LeadBBS論壇,魔力論壇,Dedecms文章,Xydw文章,驚云文章等的模塊文件。更多cms模塊請(qǐng)自己參照制作修改,也可到官方網(wǎng)站與大家交流制作。 同時(shí)您也可以使用系統(tǒng)的數(shù)據(jù)導(dǎo)出功能,利用系統(tǒng)內(nèi)置標(biāo)簽,將采集到的數(shù)據(jù)對(duì)應(yīng)表的字段導(dǎo)出到本地任何一款A(yù)ccess,MySql,MS SqlServer內(nèi)。 LocoySpider采用Visual C編寫(xiě),可獨(dú)立在Windows2008下運(yùn)行(windows2003 自帶.net1.1框架。最新版的火車(chē)采集器是2008版,需要升級(jí)到.net2.0框架才能使用),如您在Windows2000、Xp等環(huán)境下使用,請(qǐng)先到微軟官方下載一個(gè).net framework2.0或更高環(huán)境組件。火車(chē)采集器V2009 SP2 04月29日 數(shù)據(jù)抓取原理 火車(chē)采集器如何去抓取數(shù)據(jù),取決于您的規(guī)則。您要獲取一個(gè)欄目的網(wǎng)頁(yè)里的所有內(nèi)容,需要先將這個(gè)網(wǎng)頁(yè)的網(wǎng)址采下來(lái),這就是采網(wǎng)址。程序按您的規(guī)則抓取列表頁(yè)面,從中分析出網(wǎng)址,然后再去抓取獲得網(wǎng)址的網(wǎng)頁(yè)里的內(nèi)容。再根據(jù)您的采集規(guī)則,對(duì)下載到的網(wǎng)頁(yè)分析,將標(biāo)題內(nèi)容等信息分離開(kāi)來(lái)并保存下來(lái)。如果您選擇了下載圖片等網(wǎng)絡(luò)資源,程序會(huì)對(duì)采集到的數(shù)據(jù)進(jìn)行分析,找出圖片,資源等的下載地址并下載到本地。 數(shù)據(jù)發(fā)布原理 在我們將數(shù)據(jù)采集下來(lái)后數(shù)據(jù)默認(rèn)是保存在本地的,我們可以使用以下幾種方式對(duì)數(shù)據(jù)進(jìn)行處理。 1、不做任何處理。因?yàn)閿?shù)據(jù)本身是保存在數(shù)據(jù)庫(kù)的(access、db3、mysql、sqlserver),您如果只是查看數(shù)據(jù),直接用相關(guān)軟件打開(kāi)查看即可。 2、Web發(fā)布到網(wǎng)站。程序會(huì)模仿瀏覽器向您的網(wǎng)站發(fā)送數(shù)據(jù),可以實(shí)現(xiàn)您手工發(fā)布的效果。 3、直接入數(shù)據(jù)庫(kù)。您只需寫(xiě)幾個(gè)SQL語(yǔ)句,程序會(huì)將數(shù)據(jù)按您的SQL語(yǔ)句導(dǎo)入到數(shù)據(jù)庫(kù)中。 4、保存為本地文件。程序會(huì)讀取數(shù)據(jù)庫(kù)里的數(shù)據(jù),按一定格式保存為本地sql或是文本文件。 工作流程 火車(chē)采集器采集數(shù)據(jù)是分成兩個(gè)步驟的,一是采集數(shù)據(jù),二是發(fā)布數(shù)據(jù)。這兩個(gè)過(guò)程是可以分開(kāi)的。 1、采集數(shù)據(jù),這個(gè)包括采集網(wǎng)址,采集內(nèi)容。這個(gè)過(guò)程是獲得數(shù)據(jù)的過(guò)程。我們做規(guī)則,在采的過(guò)程中也算是對(duì)內(nèi)容做了處理。 2、發(fā)布內(nèi)容就是將數(shù)據(jù)發(fā)布到自己的論壇,CMS的過(guò)程,也是實(shí)現(xiàn)數(shù)據(jù)為已有的過(guò)程。可以用WEB在線(xiàn)發(fā)布,數(shù)據(jù)庫(kù)入庫(kù)或存為本地文件。 具體的使用其實(shí)是很靈活的,可以根據(jù)實(shí)際來(lái)決定。比如我可以采集時(shí)先采集不發(fā)布,有時(shí)間了再發(fā)布,或是同時(shí)采集發(fā)布,或是先做發(fā)布配置,也可以在采集完了再添加發(fā)布配置。總之,具體過(guò)程由您而定,火車(chē)采集器的強(qiáng)大功能之一也就是體現(xiàn)在靈活中。 火車(chē)采集器(LocoySpider)更新日志 火車(chē)采集器V9.21版 1: 自動(dòng)獲取cookie功能優(yōu)化 2: 數(shù)據(jù)庫(kù)發(fā)布增加事務(wù),優(yōu)化數(shù)據(jù)庫(kù)發(fā)布速度 3: 數(shù)據(jù)轉(zhuǎn)換速度優(yōu)化(針對(duì)Mysql和SqlServer數(shù)據(jù)庫(kù)的導(dǎo)入), 同時(shí)去除網(wǎng)址庫(kù)的清空邏輯 4: html標(biāo)簽處理錯(cuò)誤問(wèn)題處理 5: json提取關(guān)于數(shù)字轉(zhuǎn)換為科學(xué)計(jì)數(shù)法問(wèn)題處理 6: 發(fā)布測(cè)試時(shí),圖片上傳無(wú)效的問(wèn)題處理 7: 采集內(nèi)容頁(yè)處理錯(cuò)誤時(shí),增加對(duì)于當(dāng)前出錯(cuò)標(biāo)簽的提示,以便快速定位出錯(cuò)標(biāo)簽 8: 任務(wù)批量編輯,增加可操作范圍 9: 循環(huán)匹配匹配空格問(wèn)題處理 10: 刷新分組中增加統(tǒng)計(jì)數(shù)據(jù)的刷新 11: post分頁(yè)處理 12: 部分功能邏輯優(yōu)化 火車(chē)采集器V9.9版 1.優(yōu)化效率修復(fù)運(yùn)行大量任務(wù)時(shí)運(yùn)行卡頓問(wèn)題 2.修復(fù)大量代理時(shí)配置文件鎖死程序退出問(wèn)題 3.修復(fù)部分情況下mysql鏈接不上問(wèn)題 4.其它界面和功能優(yōu)化 火車(chē)采集器V9.8版 1: “遠(yuǎn)程管理” 正式升級(jí)為 “私有云”,全面優(yōu)化調(diào)整。 2: 發(fā)布模塊增加自定義頭信息的增加。 3: 采集線(xiàn)程間隔調(diào)整,增加自定義區(qū)間設(shè)置。 4:長(zhǎng)時(shí)間使用后的運(yùn)行卡頓問(wèn)題修復(fù)。 5: 二級(jí)代理,IP輸入框修改為普通TextBox。增加代理免驗(yàn)證的功能。 6: 分組丟失、死循環(huán)問(wèn)題修復(fù)。 7: ftp上傳,增加超時(shí)處理。 火車(chē)采集器火車(chē)采集器V9.6版 1: 多級(jí)網(wǎng)址列表,對(duì)于列表名增加重命名功能以及上下調(diào)整的功能。 2: 修復(fù)SqlServer數(shù)據(jù)庫(kù)格式下,未能正確顯示采集數(shù)量的問(wèn)題。 3: 修復(fù)在新增標(biāo)簽時(shí),若上一個(gè)編輯為固定格式數(shù)據(jù),則新增的標(biāo)簽顯示內(nèi)容錯(cuò)誤的問(wèn)題。 4: 修復(fù)數(shù)據(jù)包登錄中,若登錄失效,未能自動(dòng)重新登錄的問(wèn)題。 5: 修復(fù)FTP上傳失敗后,本地?cái)?shù)據(jù)也被刪除的問(wèn)題。 6: 修復(fù)邊采集邊發(fā)時(shí),文件上傳FTP失敗的問(wèn)題。 7: 優(yōu)化Excel保存時(shí),對(duì)于ID,PageUrl顯示列的位置。 8: 修復(fù)任務(wù)不能多選操作的問(wèn)題。 9: 邊采集邊發(fā)布時(shí),最大發(fā)布數(shù)的功能調(diào)整(原:最大發(fā)布數(shù)無(wú)效。 現(xiàn):最大發(fā)布數(shù)生效,且在任務(wù)完成后,不會(huì)將以前的未發(fā)布數(shù)據(jù)再次發(fā)布) 10:修復(fù)對(duì)于存儲(chǔ)過(guò)程語(yǔ)句,當(dāng)數(shù)據(jù)為空值時(shí),意外判斷為“語(yǔ)句錯(cuò)誤”的問(wèn)題。 11:二級(jí)代理功能,修復(fù)定時(shí)撥號(hào)失效的問(wèn)題。 12:二級(jí)代理功能,定時(shí)獲取API功能優(yōu)化,重新獲取時(shí),會(huì)自動(dòng)刪除上一批數(shù)據(jù)。 13:批量網(wǎng)址增加數(shù)據(jù)庫(kù)導(dǎo)入的模式 14:導(dǎo)出到文件時(shí),對(duì)于不合理的錯(cuò)誤命名增加提示。 15:導(dǎo)出規(guī)則時(shí),對(duì)于規(guī)則名稱(chēng)過(guò)長(zhǎng)的規(guī)則,增加提示的功能。 16:規(guī)則編輯時(shí),對(duì)于“包含”、“不包含”數(shù)據(jù),復(fù)制粘貼多行時(shí),會(huì)自動(dòng)區(qū)分為多個(gè)數(shù)據(jù)。 17:添加對(duì)于芝麻代理的合作支持。 火車(chē)采集器V9.4版 1,批量網(wǎng)址更新,日期可以支持大于今天的數(shù)據(jù)。標(biāo)簽可以采用多參數(shù)同步變化 2,標(biāo)簽組合,增加對(duì)于循環(huán)組合的支持。 3,優(yōu)化網(wǎng)址庫(kù)排重邏輯,大大加快大網(wǎng)址庫(kù)下的任務(wù)加載速度,優(yōu)化網(wǎng)址庫(kù)排重內(nèi)存占用。 4,數(shù)據(jù)庫(kù)發(fā)布模塊,增加“insert ignore”模式的支持 5, 新增任務(wù)的云端備份、同步功能 6,http遠(yuǎn)程服務(wù)器,增加對(duì)于單條數(shù)據(jù)修改的API支持。 7,水印增加指定大小的壓縮功能 8,修復(fù)FTP,SFTP鏈接未能正確斷開(kāi)的問(wèn)題 9,修復(fù)Word2007無(wú)法保存圖片的問(wèn)題 10,修復(fù)標(biāo)簽超長(zhǎng)時(shí)候的顯示錯(cuò)誤問(wèn)題。 11,修復(fù)標(biāo)簽數(shù)據(jù)替換中的替換錯(cuò)誤問(wèn)題。 12,修復(fù)了數(shù)據(jù)倒序發(fā)布的問(wèn)題。 13,優(yōu)化了幾個(gè)會(huì)導(dǎo)致采集器長(zhǎng)時(shí)間運(yùn)行后內(nèi)存無(wú)法釋放的問(wèn)題。  
常見(jiàn)的網(wǎng)絡(luò)操作系統(tǒng)有UNIX、Netware、Windows NT、Linux等,網(wǎng)絡(luò)軟件的漏洞及缺陷被利用,使網(wǎng)絡(luò)遭到入侵和破壞。
|