CrawlNScrape

Mick Dawdy

Sobre l'aplicació

QUÈ ÉS CRAWLNSCRAPE?
CrawlNScrape facilita el rastreig per Internet, seguint enllaços d'un lloc web a un altre, mirant aquí i allà, obtenint una introducció al rastreig ètic d'Internet i al raspat HTML. Aquest és un veritable rastreig per facetes desconegudes, i potser desconegudes, d'Internet.

CrawlNScrape us permet visitar llocs web arbitraris per extreure totes les dades que hi puguin trobar: bits tècnics com ara detalls del codi HTML, imatges, icona, autor, descripció, paraules clau, metadades, dades de formularis, mitjans i especialment adreces IP, geogràfiques. Ubicacions i enllaços -i encara més especialment- enllaços a altres llocs web!

Amb CrawlNScrape, el rastreig web està sota el vostre control. Un rastrejador web típic, com ara un bot de Google, rep un conjunt de "llocs de llavors" i es deixa anar per rastrejar i raspar. Amb CrawlNScrape, sou el bot i CrawlNScrape és la vostra eina per rastrejar i raspar. Controleu l'elecció del lloc de llavors, quins llocs visitareu i quines dades esborraràs.

Si esteu interessats en el rastreig d'Internet i el raspat de llocs web, hauríeu de gaudir de treballar amb aquesta aplicació. Pot ser tediós fins que us familiaritzeu amb com seleccionar | Còpia | Enganxeu al vostre dispositiu com utilitzar The Stack fins que us acomodeu al ritme de rastreig! i fins que descobriu quins llocs web són "bones llavors" per als vostres interessos particulars, preferiblement aquells amb molts enllaços fora del lloc.

RASCAT HTML ÈTIC...
El rastrejador web ha de respectar les regles establertes per robots.txt. CrawlNScrape us ofereix les eines per treballar d'aquesta manera. El raspat HTML és com qualsevol altra eina: podeu utilitzar-lo per a coses bones i per a coses dolentes. Que el raspat HTML en si no sigui il·legal no vol dir que pugueu raspar qualsevol lloc que vulgueu. Alguns llocs prohibeixen explícitament l'extracció de dades mitjançant el fitxer robots.txt o la seva pàgina de Condicions del servei. CrawlNScrape us ofereix les eines per descarregar i estudiar el fitxer robots.txt, de manera que podeu triar visitar o no visitar llocs individuals, i esborrar o no diverses carpetes i fitxers, segons correspongui.

LA WEB PROFUNDA!
Amb CrawlNScrape podeu recopilar URL de pàgines on vulgueu extreure el codi HTML i les dades. Amb el rastreig profund la idea és cercar enllaços a qualsevol pàgina web, especialment enllaços a altres llocs web. A continuació, exploreu aquests llocs per obtenir més enllaços, a altres països, a on sigui. A continuació, continueu, cada cop més a fons, a la World Wide Web.

COMENÇANT...
Des de la vista inicial, CrawlNScrape té lliçons pràctiques i introductòries per començar. A més, trobareu que podeu sortir a qualsevol altra aplicació, com ara Google Maps, la Cerca de Google, un editor de text i al vostre navegador preferit, i després tornar a CrawlNScrape mantenint intactes les vostres "molles de pa" a The Stack, perquè pugueu anar allà on hi hagi. és un lloc per anar i explorar tot el que s'hi trobi, amb la confiança que hi podràs tornar.

UNA VISTA PREVIA ESTÀ DISPONIBLE!
Aquest rastreig introductori comença amb una visió general de les opcions del menú CrawlNScrape perquè entengueu l'estructura i el flux de l'aplicació. A continuació, comença un rastreig a https://www.example.com a Phoenix, Arizona, Estats Units i gira per Internet fins a Estocolm, Suècia. Després, potser podríeu descarregar aquesta aplicació i continuar aquest recorregut per Estocolm, Suècia; Londres, Anglaterra; Dublín, Irlanda; i, bé, a qualsevol lloc...
... per veure què pots veure

SEGUIU AQUEST ENLLAÇ PER COMENÇAR...
https://mickwebsite.com/CrawlHelps/AboutCrawlNScrape.html

Mick
[e-mail]