爬虫 | Eyte Channel

#爬虫 #开源 EasySpider 一个完全免费（包括商业使用和二次开发）的可视化浏览器自动化测试/数据采集/爬虫软件，可以使用图形化界面，无代码可视化的设计和执行任务

Mon, 25 Aug 2025 10:05:43 GMT

#爬虫 #开源

EasySpider

一个完全免费（包括商业使用和二次开发）的可视化浏览器自动化测试/数据采集/爬虫软件，可以使用图形化界面，无代码可视化的设计和执行任务。

只需要在网页上选择自己想要操作的内容并根据提示框操作即可完成任务的设计和执行，同时还可以单独以命令行的方式进行执行，从而可以很方便的嵌入到其他系统中。

https://www.easyspider.net

频道 @Edgebyte

Crawlee Python：面向现代爬虫与自动化的全栈解决方案，助力高效稳定的数据抓取与网页交互

Wed, 30 Jul 2025 07:58:24 GMT

Crawlee Python：面向现代爬虫与自动化的全栈解决方案，助力高效稳定的数据抓取与网页交互。

• 统一支持 HTTP 请求与无头浏览器（Playwright）模式，兼顾性能与复杂网页渲染需求。
• 内置代理轮换、会话管理及自动重试机制，智能避开反爬虫检测，提升爬取成功率。
• 采用 asyncio 异步架构，配合完整类型提示，提升开发体验与运行效率。
• 灵活请求路由与持久化队列，支持多任务并行与断点续爬，节省运维成本。
• 多样化数据存储方案，支持结构化数据与文件下载（HTML/PDF/JPG/PNG等），满足多场景需求。
• 兼容 BeautifulSoup 解析与 Playwright 浏览器自动化，适应从静态页面到动态内容的全方位抓取。
• 轻松集成至 Apify 云平台，扩展云端自动化爬虫能力，适用研究、AI训练数据采集、RAG知识库构建等。

Crawlee 提供了从入门到进阶的示例教程，帮助开发者快速构建符合项目需求的定制化爬虫系统，专注于方法论的完善和爬取流程的稳定性。其设计理念体现了现代爬虫的核心要素：高效、稳定、可扩展与易维护。
#资源参考 #Crawlee #爬虫 #python

GitHub

GitHub - apify/crawlee-python: Crawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract…

Crawlee—A web scraping and browser automation library for Python to build reliable crawlers. Extract data for AI, LLMs, RAG, or GPTs. Download HTML, PDF, JPG, PNG, and other files from websites. Wo...

#GitHub #爬虫 #列表👩‍💻 Python - 实用 Python 脚本合集列表▎项目功能：Python 脚本列表▎项目介绍：一个收集多个实用 Python 脚本的项目，涵盖文件处理、数据分析、自动化、游戏开发等领域

Mon, 11 Nov 2024 12:19:42 GMT

#GitHub #爬虫 #列表

👩‍💻 Python - 实用 Python 脚本合集列表

▎项目功能：Python 脚本列表

▎项目介绍：一个收集多个实用 Python 脚本的项目，涵盖文件处理、数据分析、自动化、游戏开发等领域。

每个脚本都有清晰的说明和代码示例，用户可以根据需求自定义和应用这些代码。

如批量重命名文件、YouTube 视频下载、二维码生成器和聊天应用等。

▎项目地址：点击打开