CrawlNScrape

Mick Dawdy

Om denne app

HVAD ER CRAWLNSCRAPE?
CrawlNScrape gør det lettere at crawle gennem internettet, følge links fra websted til websted, kigge ind her og der, få en introduktion til etisk internetcrawling og HTML-skrabning. Dette er en sand gennemgang gennem ukendte og måske ukendte facetter af internettet.

CrawlNScrape giver dig mulighed for at besøge vilkårlige websteder for at udtrække de data, der måtte findes der - tekniske bits såsom detaljer om HTML-koden, billeder, ikon, forfatter, beskrivelse, nøgleord, metadata, formulardata, medier og især IP-adresser, geografiske Placeringer og links - og endnu mere specielt - links til andre websteder!

Med CrawlNScrape er webcrawling under din kontrol. En typisk webcrawler, såsom en Google-bot, får et sæt "seed-websteder" og bliver løsnet for at crawle og skrabe. Med CrawlNScrape er du botten, og CrawlNScrape er dit værktøj til at crawle og skrabe. Du styrer valget af seed site, hvilke sites du vil besøge og hvilke data du vil skrabe.

Hvis du er interesseret i internetcrawling og webstedsskrabning, bør du nyde at arbejde med denne app. Det kan være kedeligt, indtil du bliver fortrolig med, hvordan du vælger | Kopier | Indsæt på din enhed, hvordan du bruger The Stack, indtil du tilpasser dig selv kravlens tempo! og indtil du opdager, hvilke hjemmesider der er "gode frø" til dine særlige interesser - helst dem med mange offsite links.

ETISK HTML SCRAPING...
Webcrawleren bør respektere reglerne fastsat af robots.txt. CrawlNScrape giver dig værktøjerne til at arbejde på denne måde. HTML-skrabning er ligesom ethvert andet værktøj - du kan bruge det til gode ting, og du kan bruge det til dårlige ting. At HTML-skrabning i sig selv ikke er ulovlig, betyder ikke, at du kan skrabe ethvert websted, du ønsker. Nogle websteder forbyder eksplicit dataudtræk enten via robots.txt-filen eller deres Servicevilkår-side. CrawlNScrape giver dig værktøjerne til at downloade og studere robots.txt-filen, så du kan vælge at besøge eller ikke besøge individuelle websteder, og at skrabe eller ikke skrabe forskellige mapper og filer, alt efter hvad der er relevant.

DET DYBE WEB!
Med CrawlNScrape kan du indsamle URL'er på sider, hvor du måske ønsker at udtrække HTML-koden og dataene. Med Deep Crawling er ideen at søge på enhver webside efter links, især efter links til andre websteder. Udforsk derefter disse websteder for yderligere links, til andre lande, hvor som helst. Fortsæt derefter, dybere og dybere, ind på World Wide Web.

KOM I GANG...
Fra åbningsvisningen har CrawlNScrape praktiske, indledende lektioner for at komme i gang. Derudover vil du opdage, at du kan afslutte til enhver anden app, såsom Google Maps, Google Søgning, en teksteditor og til din yndlingsbrowser, og derefter vende tilbage til CrawlNScrape, mens du holder dine "brødkrummer" intakte i The Stack, så du kan gå hvorhen der er er et sted at tage hen og udforske, hvad der er at finde der, med tillid til, at du kan komme tilbage dertil igen.

EN FORBEHANDLING ER TILGÆNGELIG!
Denne indledende Crawl begynder med en oversigt over CrawlNScrape-menuindstillingerne, så du får en forståelse af app-strukturen og -flowet. Derefter starter den en gennemgang på https://www.example.com i Phoenix, Arizona, USA og rejser rundt på internettet til Stockholm, Sverige. Bagefter kan du måske downloade denne app og fortsætte denne tur gennem Stockholm, Sverige; London, England; Dublin, Irland; og ja, hvor som helst...
… for at se, hvad du kan se

FØLG DETTE LINK FOR AT KOM I GANG...
https://mickwebsite.com/CrawlHelps/AboutCrawlNScrape.html

Mick
[e-mail]