CrawlNScrape

Mick Dawdy

Über diese App

Was ist CrawlNScrape?
CrawlNScrape erleichtert das Crawlen durch das Internet, das Verfolgen von Links von Website zu Website, das Hineinspähen hier und dort und eine Einführung in ethisches Internet-Crawling und HTML-Scraping. Dies ist ein echter Crawl durch unbekannte und vielleicht unbekannte Facetten des Internets.

Mit CrawlNScrape können Sie beliebige Websites besuchen, um alle dort gefundenen Daten zu extrahieren – technische Teile wie Details zum HTML-Code, Bilder, Symbol, Autor, Beschreibung, Schlüsselwörter, Metadaten, Formulardaten, Medien und insbesondere IP-Adressen, geografisch Standorte und Links – und noch spezieller – Links zu anderen Websites!

Mit CrawlNScrape liegt das Web-Crawling unter Ihrer Kontrolle. Ein typischer Webcrawler wie ein Google-Bot erhält eine Reihe von „Seed-Sites“ und wird zum Crawlen und Scrapen freigegeben. Mit CrawlNScrape sind Sie der Bot und CrawlNScrape ist Ihr Tool zum Crawlen und Scrapen. Sie bestimmen die Wahl der Seed-Site, welche Sites Sie besuchen und welche Daten Sie extrahieren.

Wenn Sie sich für Internet-Crawling und Website-Scraping interessieren, dürfte Ihnen die Arbeit mit dieser App Spaß machen. Es kann mühsam sein, bis Sie mit der Auswahl von | vertraut sind Kopieren | Fügen Sie auf Ihrem Gerät ein, wie Sie The Stack verwenden, bis Sie sich an das Crawling-Tempo gewöhnt haben! und bis Sie herausgefunden haben, welche Websites „gute Keime“ für Ihre speziellen Interessen sind – vorzugsweise solche mit vielen Offsite-Links.

Ethisches HTML-Scraping…
Der Webcrawler sollte die von robots.txt festgelegten Regeln respektieren. CrawlNScrape bietet Ihnen die Werkzeuge, um auf diese Weise zu arbeiten. HTML-Scraping ist wie jedes andere Tool – Sie können es für gute und für schlechte Dinge verwenden. Dass HTML-Scraping selbst nicht illegal ist, bedeutet nicht, dass Sie jede gewünschte Website scrapen können. Einige Websites verbieten ausdrücklich die Datenextraktion über die robots.txt-Datei oder ihre Seite mit den Nutzungsbedingungen. CrawlNScrape bietet Ihnen die Tools zum Herunterladen und Studieren der robots.txt-Datei, sodass Sie wählen können, ob Sie einzelne Websites besuchen oder nicht besuchen möchten und je nach Bedarf verschiedene Ordner und Dateien durchsuchen möchten oder nicht.

Das Deep Web!
Mit CrawlNScrape können Sie URLs von Seiten sammeln, von denen Sie möglicherweise den HTML-Code und die Daten extrahieren möchten. Beim Deep Crawling geht es darum, jede Webseite nach Links zu durchsuchen, insbesondere nach Links zu anderen Websites. Dann durchsuchen Sie diese Websites nach weiteren Links zu anderen Ländern und wohin auch immer. Dann geht es immer tiefer ins World Wide Web.

Von Anfang an bietet CrawlNScrape praktische Einführungslektionen, die Ihnen den Einstieg erleichtern. Außerdem werden Sie feststellen, dass Sie zu jeder anderen App wie Google Maps, der Google-Suche, einem Texteditor und Ihrem Lieblingsbrowser wechseln und dann zu CrawlNScrape zurückkehren können, während Ihre „Brotkrümel“ in The Stack intakt bleiben, sodass Sie überall hingehen können ist ein Ort, an den man gehen und alles erkunden kann, was dort zu finden ist, mit der Gewissheit, dass man wieder dorthin zurückkehren kann.

Eine Vorschau ist hier und jetzt verfügbar!
Dieser einführende Crawl beginnt mit einem Überblick über die CrawlNScrape-Menüoptionen, damit Sie ein Verständnis für die Struktur und den Ablauf der App gewinnen. Anschließend startet es einen Crawl bei https://www.example.com in Phoenix, Arizona, USA und tourt durch das Internet nach Stockholm, Schweden. Anschließend könnten Sie vielleicht planen, der Open Test Group beizutreten und diese Tour durch Stockholm, Schweden, fortzusetzen; London, England; Dublin, Irland; und, nun ja, wohin auch immer…
… um zu sehen, was man sehen kann

Folgen Sie diesem Link, um loszulegen …
https://mickwebsite.com/MMWebSite/IntroductoryCrawl.html

Mick
[e-mail]