CrawlNScrape

Mick Dawdy‏

درباره این برنامه

CRAWLNSCRAP چیست؟
CrawlNScrape خزیدن از طریق اینترنت، دنبال کردن پیوندها از یک وب‌سایت به وب‌سایت، نگاه کردن به اینجا و آنجا، دریافت مقدمه‌ای برای خزیدن اخلاقی در اینترنت و اسکرپینگ HTML را تسهیل می‌کند. این یک خزیدن واقعی در جنبه های ناآشنا و شاید ناشناخته اینترنت است.

CrawlNScrape به شما اجازه می دهد تا از وب سایت های دلخواه بازدید کنید تا هر داده ای را که در آنجا یافت می شود استخراج کنید - بیت های فنی مانند جزئیات کد HTML، تصاویر، نماد، نویسنده، توضیحات، کلمات کلیدی، داده های متا، داده های فرم ها، رسانه ها، و به خصوص آدرس های IP، جغرافیایی مکان ها و پیوندها - و به ویژه - پیوندهایی به وب سایت های دیگر!

با CrawlNScrape خزیدن وب تحت کنترل شماست. به یک خزنده وب معمولی مانند یک ربات گوگل مجموعه‌ای از «سایت‌های اولیه» داده می‌شود و برای خزیدن و خراشیدن آزاد می‌شود. با CrawlNScrape، شما ربات هستید و CrawlNScrape ابزار شما برای خزیدن و خراشیدن است. شما انتخاب سایت seed را کنترل می‌کنید، از کدام سایت‌ها بازدید می‌کنید و چه داده‌هایی را می‌خرید.

اگر به خزیدن در اینترنت و خراش دادن وب سایت علاقه دارید، باید از کار با این برنامه لذت ببرید. تا زمانی که با نحوه انتخاب | آشنا نشوید ممکن است خسته کننده باشد کپی | نحوه استفاده از The Stack را روی دستگاه خود بچسبانید تا زمانی که خود را با سرعت خزیدن سازگار کنید! و تا زمانی که متوجه شوید کدام وب‌سایت‌ها «بذرهای خوبی» برای علایق خاص شما هستند - ترجیحاً آنهایی که پیوندهای خارج از سایت زیادی دارند.

حذف اخلاقی HTML...
خزنده وب باید به قوانین تعیین شده توسط robots.txt احترام بگذارد. CrawlNScrape ابزارهایی را در اختیار شما قرار می دهد تا به این روش کار کنید. Scraping HTML درست مانند هر ابزار دیگری است - می توانید از آن برای چیزهای خوب استفاده کنید و می توانید از آن برای چیزهای بد استفاده کنید. اینکه اسکراپی HTML به خودی خود غیرقانونی نیست به این معنی نیست که می توانید هر سایتی را که می خواهید خراش دهید. برخی از سایت‌ها صراحتاً استخراج داده‌ها را از طریق فایل robots.txt یا صفحه شرایط خدمات خود ممنوع می‌کنند. CrawlNScrape ابزارهایی را برای دانلود و مطالعه فایل robots.txt در اختیار شما قرار می‌دهد، بنابراین می‌توانید انتخاب کنید که از سایت‌های جداگانه بازدید کنید یا از آن بازدید نکنید و پوشه‌ها و فایل‌های مختلف را در صورت لزوم خراش دهید یا نکنید.

وب عمیق!
با CrawlNScrape می توانید URL صفحاتی را که ممکن است بخواهید کد HTML و داده ها را استخراج کنید جمع آوری کنید. با خزیدن عمیق، ایده این است که هر صفحه وب را برای پیوندها جستجو کنید، به ویژه برای پیوندهایی به وب سایت های دیگر. سپس آن سایت‌ها را برای پیوندهای بیشتر، به کشورهای دیگر، به هر کجا جستجو کنید. سپس عمیق‌تر و عمیق‌تر به شبکه جهانی وب ادامه دهید.

شروع شدن...
از نمای ابتدایی CrawlNScrape دروس کاربردی و مقدماتی برای شروع شما دارد. به علاوه متوجه خواهید شد که می توانید از هر برنامه دیگری مانند Google Maps، جستجوی گوگل، ویرایشگر متن و مرورگر مورد علاقه خود خارج شوید، سپس به CrawlNScrape بازگردید در حالی که "خرده های نان" خود را در The Stack دست نخورده نگه دارید، بنابراین می توانید به هر کجا که آنجا بروید. مکانی برای رفتن و کاوش در هر چیزی است که در آنجا یافت می شود، با اطمینان از اینکه می توانید دوباره به آنجا برگردید.

یک پیش نمایش در دسترس است!
این Crawl مقدماتی با مروری بر گزینه های منوی CrawlNScrape آغاز می شود تا درک درستی از ساختار و جریان برنامه به دست آورید. سپس شروع به خزیدن در https://www.example.com در فینیکس، آریزونا، ایالات متحده می کند و در سراسر اینترنت به استکهلم، سوئد سفر می کند. پس از آن، شاید بتوانید این برنامه را دانلود کنید و این تور را از طریق استکهلم، سوئد ادامه دهید. لندن، انگلستان؛ دوبلین، ایرلند؛ و خب به هر جا…
… برای دیدن آنچه می توانید ببینید

برای شروع این لینک را دنبال کنید...
https://mickwebsite.com/CrawlHelps/AboutCrawlNScrape.html

میک
[e-mail]