CrawlNScrape

Mick Dawdy

Meer oor hierdie app

WAT IS CRAWLNSCRAPE?
CrawlNScrape vergemaklik kruip deur die internet, volg skakels van webwerf tot webwerf, loer hier en daar in, kry 'n inleiding tot etiese internet-kruip en HTML-skraping. Dit is 'n ware kruip deur onbekende, en miskien onbekende, fasette van die internet.

CrawlNScrape laat jou toe om arbitrêre webwerwe te besoek om enige data wat daar gevind kan word te onttrek - tegniese stukkies soos besonderhede van die HTML-kode, beelde, ikoon, skrywer, beskrywing, sleutelwoorde, Meta Data, Forms Data, Media, en veral IP-adresse, geografiese Liggings en skakels - en nog meer veral - skakels na ander webwerwe!

Met CrawlNScrape is die webkruipery onder jou beheer. 'n Tipiese webkruiper soos 'n Google-bot kry 'n stel "saadwebwerwe" en word losgemaak om te kruip en te krap. Met CrawlNScrape is jy die bot en CrawlNScrape is jou hulpmiddel om te kruip en te krap. Jy beheer die keuse van saadwerf, watter werwe jy sal besoek en watter data jy sal skraap.

As jy belangstel in internet-kruip en webwerf-skraap, moet jy dit geniet om met hierdie toepassing te werk. Dit kan vervelig wees totdat jy vertroud raak met hoe om | te kies Kopieer | Plak op jou toestel, hoe om The Stack te gebruik, totdat jy jouself akkommodeer vir die pas van kruip! en totdat jy ontdek watter webwerwe "goeie saad" is vir jou spesifieke belangstellings - verkieslik dié met baie skakels buite die perseel.

ETIESE HTML SKRAAP...
Die webkruiper moet die reëls wat deur robots.txt gestel word, respekteer. CrawlNScrape gee jou die gereedskap om op hierdie manier te werk. HTML-skraping is net soos enige ander instrument - jy kan dit gebruik vir goeie goed en jy kan dit vir slegte goed gebruik. Dat HTML-skraap self nie onwettig is nie, beteken nie dat jy enige werf kan skraap wat jy wil hê nie. Sommige werwe verbied uitdruklik data-onttrekking, hetsy via die robots.txt-lêer of hul diensbepalingsbladsy. CrawlNScrape gee jou die gereedskap om die robots.txt-lêer af te laai en te bestudeer, sodat jy kan kies om individuele werwe te besoek of nie te besoek nie, en om verskeie vouers en lêers te skraap of nie te krap nie, soos toepaslik.

DIE DIEP WEB!
Met CrawlNScrape kan jy URL's van bladsye versamel waar jy dalk die HTML-kode en data wil onttrek. Met Deep Crawling is die idee om enige webbladsy vir skakels te soek, veral vir skakels na ander webwerwe. Verken dan daardie werwe vir verdere skakels, na ander lande, na waar ook al. Gaan dan voort, dieper en dieper, die Wêreldwye Web binne.

AAN DIE GANG KOM...
Uit die openingsaansig het CrawlNScrape praktiese, inleidende lesse om jou aan die gang te kry. Boonop sal jy vind dat jy kan uitgaan na enige ander toepassing soos Google Maps, Google Search, 'n teksredigeerder en na jou gunsteling blaaier, en dan kan terugkeer na CrawlNScrape terwyl jy jou "broodkrummels" ongeskonde in The Stack hou, sodat jy oral kan gaan is 'n plek om te gaan verken wat ook al daar te vinde is, met die vertroue dat jy weer daar kan terugkom.

'N VOORSIEN IS BESKIKBAAR!
Hierdie inleidende Crawl begin met 'n oorsig van die CrawlNScrape-kieslysopsies sodat jy 'n begrip kry van die toepassingstruktuur en -vloei. Dit begin dan 'n kruip by https://www.example.com in Phoenix, Arizona, Verenigde State en toer deur die internet na Stockholm, Swede. Daarna kan jy dalk hierdie toepassing aflaai en hierdie toer deur Stockholm, Swede voortsit; Londen, Engeland; Dublin, Ierland; en, wel, waar ook al …
… om te sien wat jy kan sien

VOLG HIERDIE SKAKEL OM TE BEGIN...
https://mickwebsite.com/CrawlHelps/AboutCrawlNScrape.html

Mick
[e-mail]