1. 为什么Scrapy是Python爬虫开发的首选框架第一次接触Scrapy是在2015年当时我需要从几十个电商网站抓取商品数据。尝试了各种方法后一个资深开发者对我说别折腾那些requestsBeautifulSoup的玩具了上Scrapy吧。这句话改变了我对爬虫开发的认知。Scrapy不是一个简单的HTTP请求库而是一个完整的爬虫框架framework。这意味着它提供了一整套处理爬虫生命周期的方法从发送请求、解析响应到存储数据都有成熟的解决方案。就像Django之于Web开发Scrapy为爬虫工程化提供了标准范式。提示Scrapy的框架特性使其特别适合中大型爬虫项目对于简单的一次性抓取任务可能显得过于重量级。1.1 架构设计理解Scrapy的引擎机制Scrapy的核心是它的引擎Engine采用Twisted这个异步网络框架实现。这种架构带来了几个关键优势非阻塞IO可以同时处理数百个请求而不会因为等待响应而阻塞自动去重内置的调度器Scheduler会自动过滤重复URL中间件扩展通过下载器中间件Downloader Middleware可以灵活插入各种处理逻辑# Scrapy的基本数据流 Engine - Scheduler - Downloader - Spider - Item Pipeline这种架构使得Scrapy在抓取效率上远超手动编写的爬虫。我做过实测同样的1000个页面用requests同步抓取需要12分钟而Scrapy只需47秒。1.2 对比其他Python爬虫方案很多初学者会问为什么不用RequestsBeautifulSoup这个组合确实简单但存在几个致命缺陷无自动重试机制遇到网络问题需要手动处理缺乏并发控制自己实现多线程/协程复杂度高无结构化存储数据清洗和存储需要额外编码相比之下Scrapy内置了这些企业级功能自动重试失败请求可配置重试次数和延迟并发控制通过CONCURRENT_REQUESTS参数调节Item Pipeline提供标准化的数据处理流程2. 从零开始搭建Scrapy开发环境2.1 Python环境准备Scrapy需要Python 3.6环境。我强烈建议使用conda或venv创建虚拟环境# 使用conda conda create -n scrapy_env python3.8 conda activate scrapy_env # 或者使用venv python -m venv scrapy_env source scrapy_env/bin/activate # Linux/Mac scrapy_env\Scripts\activate # Windows注意Windows用户可能会遇到Microsoft C Build Tools缺失的问题需要先安装VS Build Tools或从https://www.lfd.uci.edu/~gohlke/pythonlibs/下载预编译的二进制包。2.2 Scrapy安装与验证安装Scrapy及其常用扩展pip install scrapy scrapy-redis scrapy-splash scrapy-user-agents验证安装是否成功scrapy version # 应该输出类似Scrapy 2.6.1如果遇到SSL相关错误常见于Windows可能需要pip install --upgrade certifi2.3 开发工具配置虽然可以用任何文本编辑器开发Scrapy项目但我推荐VS Code安装Python和Scrapy扩展PyCharm Professional提供专门的Scrapy项目支持Jupyter Notebook用于调试和测试选择器在VS Code中配置Scrapy调试环境// launch.json { version: 0.2.0, configurations: [ { name: Scrapy Shell, type: python, request: launch, program: ${env:HOME}/.local/bin/scrapy, args: [shell], console: integratedTerminal } ] }3. 创建你的第一个Scrapy爬虫3.1 项目初始化创建一个图书爬虫项目scrapy startproject book_crawler cd book_crawler scrapy genspider jd_books search.jd.com这会生成如下目录结构book_crawler/ ├── scrapy.cfg # 部署配置文件 └── book_crawler/ # Python模块 ├── __init__.py ├── items.py # 定义数据结构 ├── middlewares.py # 中间件 ├── pipelines.py # 数据处理管道 ├── settings.py # 项目设置 └── spiders/ # 爬虫目录 ├── __init__.py └── jd_books.py # 生成的爬虫文件3.2 定义数据模型在items.py中定义图书数据结构import scrapy class BookItem(scrapy.Item): title scrapy.Field() # 书名 price scrapy.Field() # 价格 author scrapy.Field() # 作者 publisher scrapy.Field() # 出版社 comments scrapy.Field() # 评论数 ISBN scrapy.Field() # ISBN号 crawl_time scrapy.Field() # 抓取时间这种结构化定义比直接使用字典更安全可以避免字段拼写错误。3.3 编写核心爬虫逻辑修改jd_books.pyimport scrapy from book_crawler.items import BookItem from urllib.parse import urlencode class JdBooksSpider(scrapy.Spider): name jd_books allowed_domains [search.jd.com] def start_requests(self): base_url https://search.jd.com/Search? keywords [python, 机器学习, 数据分析] for keyword in keywords: params {keyword: keyword, enc: utf-8} yield scrapy.Request( urlbase_url urlencode(params), callbackself.parse_search, meta{keyword: keyword} ) def parse_search(self, response): books response.css(ul.gl-warp li.gl-item) for book in books: item BookItem() item[title] book.css(div.p-name em::text).get() item[price] book.css(div.p-price i::text).get() item[comments] book.css(div.p-commit a::text).get() yield item # 翻页逻辑 next_page response.css(a.pn-next::attr(href)).get() if next_page: yield response.follow(next_page, self.parse_search)3.4 关键配置调优在settings.py中添加重要配置# 并发设置 CONCURRENT_REQUESTS 16 # 最大并发请求数 CONCURRENT_REQUESTS_PER_DOMAIN 8 # 每个域名的最大并发数 DOWNLOAD_DELAY 0.5 # 下载延迟(秒) # 中间件配置 DOWNLOADER_MIDDLEWARES { scrapy.downloadermiddlewares.useragent.UserAgentMiddleware: None, scrapy_user_agents.middlewares.RandomUserAgentMiddleware: 400, } # 管道配置 ITEM_PIPELINES { book_crawler.pipelines.BookPipeline: 300, }4. 高级技巧与实战经验4.1 反爬虫策略应对京东等大型网站都有严格的反爬机制。经过多次实战我总结了这些有效方法用户代理轮换# settings.py USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)... ]IP代理池集成# middlewares.py class ProxyMiddleware: def process_request(self, request, spider): request.meta[proxy] http://your-proxy-ip:port请求限速动态调整# extensions.py class AdaptiveDelayExtension: def __init__(self, delay): self.delay delay classmethod def from_crawler(cls, crawler): return cls(crawler.settings.getfloat(DOWNLOAD_DELAY)) def spider_opened(self, spider): spider.logger.info(fInitial delay: {self.delay}s) def request_scheduled(self, request, spider): if request.meta.get(retry_times, 0) 3: spider.crawler.engine.downloader.delay min(5, self.delay * 2)4.2 分布式爬虫实现使用scrapy-redis实现分布式安装依赖pip install scrapy-redis redis修改settings.pySCHEDULER scrapy_redis.scheduler.Scheduler DUPEFILTER_CLASS scrapy_redis.dupefilter.RFPDupeFilter REDIS_URL redis://your-redis-server:6379修改爬虫继承类from scrapy_redis.spiders import RedisSpider class JdBooksSpider(RedisSpider): name jd_books redis_key jd_books:start_urls4.3 数据存储优化在pipelines.py中实现多种存储方式import pymongo import psycopg2 from itemadapter import ItemAdapter class BookPipeline: def open_spider(self, spider): # MongoDB连接 self.mongo_client pymongo.MongoClient(mongodb://localhost:27017/) self.mongo_db self.mongo_client[book_db] # PostgreSQL连接 self.pg_conn psycopg2.connect( dbnamebook_db, userpostgres, passwordpassword ) self.pg_cursor self.pg_conn.cursor() def process_item(self, item, spider): # MongoDB存储 self.mongo_db.books.insert_one(ItemAdapter(item).asdict()) # PostgreSQL存储 self.pg_cursor.execute( INSERT INTO books (title, price, author, publisher, comments, isbn, crawl_time) VALUES (%s, %s, %s, %s, %s, %s, %s), (item[title], item[price], item.get(author), item.get(publisher), item[comments], item.get(ISBN), item[crawl_time]) ) self.pg_conn.commit() return item def close_spider(self, spider): self.mongo_client.close() self.pg_conn.close()4.4 常见问题排查问题1响应内容与浏览器看到的不一致可能原因网站使用JavaScript动态加载内容触发了反爬机制返回了验证页面解决方案使用scrapy-splash处理JS渲染yield SplashRequest(url, self.parse, args{wait: 0.5})检查响应状态码和内容类型使用中间件处理验证码问题2爬虫被屏蔽典型表现返回403状态码返回验证码页面IP被临时封禁应对策略降低请求频率增加DOWNLOAD_DELAY使用更真实的请求头包括Referer、Accept等更换IP代理问题3数据提取不准确调试方法使用scrapy shell交互测试scrapy shell https://search.jd.com/Search?keywordpython在浏览器开发者工具中验证CSS/XPath选择器使用response.css(selector).getall()检查匹配结果5. 性能优化与监控5.1 内存泄漏排查大型爬虫常遇到内存问题。使用以下方法监控# extensions.py import objgraph from memory_profiler import profile class MemoryMonitor: def __init__(self, interval1000): self.interval interval self.request_count 0 classmethod def from_crawler(cls, crawler): return cls(crawler.settings.getint(MEMCHECK_INTERVAL, 1000)) def request_scheduled(self, request, spider): self.request_count 1 if self.request_count % self.interval 0: objgraph.show_growth(limit10)5.2 统计指标收集使用Scrapy内置的Stats Collector# spider_closed信号处理 from scrapy import signals class StatsExtension: classmethod def from_crawler(cls, crawler): ext cls() crawler.signals.connect(ext.spider_closed, signalsignals.spider_closed) return ext def spider_closed(self, spider, reason): stats spider.crawler.stats.get_stats() with open(stats.json, w) as f: json.dump(stats, f)5.3 自动化部署使用scrapyd管理生产环境爬虫安装scrapydpip install scrapyd scrapyd-client部署配置scrapy.cfg[deploy:production] url http://your-server:6800/ project book_crawler部署命令scrapyd-deploy production -p book_crawler6. 扩展Scrapy功能6.1 集成机器学习使用scrapy-ml扩展实现智能解析# pipelines.py from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans class MLPipeline: def __init__(self): self.vectorizer TfidfVectorizer() self.cluster KMeans(n_clusters5) def process_item(self, item, spider): text f{item[title]} {item.get(description,)} X self.vectorizer.fit_transform([text]) item[category] self.cluster.predict(X)[0] return item6.2 自动化测试编写爬虫单元测试# tests/test_spider.py import unittest from scrapy.http import HtmlResponse from book_crawler.spiders.jd_books import JdBooksSpider class TestJdBooksSpider(unittest.TestCase): def setUp(self): self.spider JdBooksSpider() def test_parse(self): with open(test_page.html, rb) as f: body f.read() response HtmlResponse(url, bodybody) results list(self.spider.parse_search(response)) self.assertEqual(len(results), 30) self.assertIn(title, results[0])6.3 可视化监控使用PrometheusGrafana监控爬虫# extensions.py from prometheus_client import Counter, Gauge class PrometheusExtension: def __init__(self): self.items_scraped Counter(scrapy_items_scraped, Items scraped) self.memory_usage Gauge(scrapy_memory_usage, Memory usage) def item_scraped(self, item, spider): self.items_scraped.inc() def spider_idle(self, spider): import psutil self.memory_usage.set(psutil.Process().memory_info().rss)7. 最佳实践与经验总结经过多年Scrapy实战这些经验特别值得分享增量爬取策略使用Redis记录已抓取URL的指纹对时间敏感数据添加last_updated字段实现去重过滤器时考虑URL规范化异常处理黄金法则def parse(self, response): try: # 解析逻辑 except Exception as e: yield { _type: error, url: response.url, exception: str(e), timestamp: datetime.now().isoformat() }日志记录规范# settings.py LOG_LEVEL INFO LOG_FORMAT %(asctime)s [%(name)s] %(levelname)s: %(message)s LOG_DATEFORMAT %Y-%m-%d %H:%M:%S性能调优检查清单启用HTTP缓存HTTPCACHE_ENABLEDTrue调整CONCURRENT_REQUESTS_PER_IP使用DNS缓存DNSCACHE_ENABLEDTrue禁用不需要的中间件法律合规要点严格遵守robots.txt规则设置合理的下载延迟不抓取个人隐私数据添加明确的User-Agent标识在大型电商爬虫项目中我们最终形成的Scrapy架构通常包含这些组件分布式任务队列Redis动态代理服务验证码识别微服务数据质量监控系统自动化部署流水线这种工业化的工作流程才是Scrapy真正展现其价值的地方。它让爬虫开发从脚本级提升到了工程级这也是为什么我认为Scrapy是Python爬虫领域当之无愧的王者框架。
Scrapy框架：Python爬虫开发的核心技术与实战
1. 为什么Scrapy是Python爬虫开发的首选框架第一次接触Scrapy是在2015年当时我需要从几十个电商网站抓取商品数据。尝试了各种方法后一个资深开发者对我说别折腾那些requestsBeautifulSoup的玩具了上Scrapy吧。这句话改变了我对爬虫开发的认知。Scrapy不是一个简单的HTTP请求库而是一个完整的爬虫框架framework。这意味着它提供了一整套处理爬虫生命周期的方法从发送请求、解析响应到存储数据都有成熟的解决方案。就像Django之于Web开发Scrapy为爬虫工程化提供了标准范式。提示Scrapy的框架特性使其特别适合中大型爬虫项目对于简单的一次性抓取任务可能显得过于重量级。1.1 架构设计理解Scrapy的引擎机制Scrapy的核心是它的引擎Engine采用Twisted这个异步网络框架实现。这种架构带来了几个关键优势非阻塞IO可以同时处理数百个请求而不会因为等待响应而阻塞自动去重内置的调度器Scheduler会自动过滤重复URL中间件扩展通过下载器中间件Downloader Middleware可以灵活插入各种处理逻辑# Scrapy的基本数据流 Engine - Scheduler - Downloader - Spider - Item Pipeline这种架构使得Scrapy在抓取效率上远超手动编写的爬虫。我做过实测同样的1000个页面用requests同步抓取需要12分钟而Scrapy只需47秒。1.2 对比其他Python爬虫方案很多初学者会问为什么不用RequestsBeautifulSoup这个组合确实简单但存在几个致命缺陷无自动重试机制遇到网络问题需要手动处理缺乏并发控制自己实现多线程/协程复杂度高无结构化存储数据清洗和存储需要额外编码相比之下Scrapy内置了这些企业级功能自动重试失败请求可配置重试次数和延迟并发控制通过CONCURRENT_REQUESTS参数调节Item Pipeline提供标准化的数据处理流程2. 从零开始搭建Scrapy开发环境2.1 Python环境准备Scrapy需要Python 3.6环境。我强烈建议使用conda或venv创建虚拟环境# 使用conda conda create -n scrapy_env python3.8 conda activate scrapy_env # 或者使用venv python -m venv scrapy_env source scrapy_env/bin/activate # Linux/Mac scrapy_env\Scripts\activate # Windows注意Windows用户可能会遇到Microsoft C Build Tools缺失的问题需要先安装VS Build Tools或从https://www.lfd.uci.edu/~gohlke/pythonlibs/下载预编译的二进制包。2.2 Scrapy安装与验证安装Scrapy及其常用扩展pip install scrapy scrapy-redis scrapy-splash scrapy-user-agents验证安装是否成功scrapy version # 应该输出类似Scrapy 2.6.1如果遇到SSL相关错误常见于Windows可能需要pip install --upgrade certifi2.3 开发工具配置虽然可以用任何文本编辑器开发Scrapy项目但我推荐VS Code安装Python和Scrapy扩展PyCharm Professional提供专门的Scrapy项目支持Jupyter Notebook用于调试和测试选择器在VS Code中配置Scrapy调试环境// launch.json { version: 0.2.0, configurations: [ { name: Scrapy Shell, type: python, request: launch, program: ${env:HOME}/.local/bin/scrapy, args: [shell], console: integratedTerminal } ] }3. 创建你的第一个Scrapy爬虫3.1 项目初始化创建一个图书爬虫项目scrapy startproject book_crawler cd book_crawler scrapy genspider jd_books search.jd.com这会生成如下目录结构book_crawler/ ├── scrapy.cfg # 部署配置文件 └── book_crawler/ # Python模块 ├── __init__.py ├── items.py # 定义数据结构 ├── middlewares.py # 中间件 ├── pipelines.py # 数据处理管道 ├── settings.py # 项目设置 └── spiders/ # 爬虫目录 ├── __init__.py └── jd_books.py # 生成的爬虫文件3.2 定义数据模型在items.py中定义图书数据结构import scrapy class BookItem(scrapy.Item): title scrapy.Field() # 书名 price scrapy.Field() # 价格 author scrapy.Field() # 作者 publisher scrapy.Field() # 出版社 comments scrapy.Field() # 评论数 ISBN scrapy.Field() # ISBN号 crawl_time scrapy.Field() # 抓取时间这种结构化定义比直接使用字典更安全可以避免字段拼写错误。3.3 编写核心爬虫逻辑修改jd_books.pyimport scrapy from book_crawler.items import BookItem from urllib.parse import urlencode class JdBooksSpider(scrapy.Spider): name jd_books allowed_domains [search.jd.com] def start_requests(self): base_url https://search.jd.com/Search? keywords [python, 机器学习, 数据分析] for keyword in keywords: params {keyword: keyword, enc: utf-8} yield scrapy.Request( urlbase_url urlencode(params), callbackself.parse_search, meta{keyword: keyword} ) def parse_search(self, response): books response.css(ul.gl-warp li.gl-item) for book in books: item BookItem() item[title] book.css(div.p-name em::text).get() item[price] book.css(div.p-price i::text).get() item[comments] book.css(div.p-commit a::text).get() yield item # 翻页逻辑 next_page response.css(a.pn-next::attr(href)).get() if next_page: yield response.follow(next_page, self.parse_search)3.4 关键配置调优在settings.py中添加重要配置# 并发设置 CONCURRENT_REQUESTS 16 # 最大并发请求数 CONCURRENT_REQUESTS_PER_DOMAIN 8 # 每个域名的最大并发数 DOWNLOAD_DELAY 0.5 # 下载延迟(秒) # 中间件配置 DOWNLOADER_MIDDLEWARES { scrapy.downloadermiddlewares.useragent.UserAgentMiddleware: None, scrapy_user_agents.middlewares.RandomUserAgentMiddleware: 400, } # 管道配置 ITEM_PIPELINES { book_crawler.pipelines.BookPipeline: 300, }4. 高级技巧与实战经验4.1 反爬虫策略应对京东等大型网站都有严格的反爬机制。经过多次实战我总结了这些有效方法用户代理轮换# settings.py USER_AGENTS [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..., Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)... ]IP代理池集成# middlewares.py class ProxyMiddleware: def process_request(self, request, spider): request.meta[proxy] http://your-proxy-ip:port请求限速动态调整# extensions.py class AdaptiveDelayExtension: def __init__(self, delay): self.delay delay classmethod def from_crawler(cls, crawler): return cls(crawler.settings.getfloat(DOWNLOAD_DELAY)) def spider_opened(self, spider): spider.logger.info(fInitial delay: {self.delay}s) def request_scheduled(self, request, spider): if request.meta.get(retry_times, 0) 3: spider.crawler.engine.downloader.delay min(5, self.delay * 2)4.2 分布式爬虫实现使用scrapy-redis实现分布式安装依赖pip install scrapy-redis redis修改settings.pySCHEDULER scrapy_redis.scheduler.Scheduler DUPEFILTER_CLASS scrapy_redis.dupefilter.RFPDupeFilter REDIS_URL redis://your-redis-server:6379修改爬虫继承类from scrapy_redis.spiders import RedisSpider class JdBooksSpider(RedisSpider): name jd_books redis_key jd_books:start_urls4.3 数据存储优化在pipelines.py中实现多种存储方式import pymongo import psycopg2 from itemadapter import ItemAdapter class BookPipeline: def open_spider(self, spider): # MongoDB连接 self.mongo_client pymongo.MongoClient(mongodb://localhost:27017/) self.mongo_db self.mongo_client[book_db] # PostgreSQL连接 self.pg_conn psycopg2.connect( dbnamebook_db, userpostgres, passwordpassword ) self.pg_cursor self.pg_conn.cursor() def process_item(self, item, spider): # MongoDB存储 self.mongo_db.books.insert_one(ItemAdapter(item).asdict()) # PostgreSQL存储 self.pg_cursor.execute( INSERT INTO books (title, price, author, publisher, comments, isbn, crawl_time) VALUES (%s, %s, %s, %s, %s, %s, %s), (item[title], item[price], item.get(author), item.get(publisher), item[comments], item.get(ISBN), item[crawl_time]) ) self.pg_conn.commit() return item def close_spider(self, spider): self.mongo_client.close() self.pg_conn.close()4.4 常见问题排查问题1响应内容与浏览器看到的不一致可能原因网站使用JavaScript动态加载内容触发了反爬机制返回了验证页面解决方案使用scrapy-splash处理JS渲染yield SplashRequest(url, self.parse, args{wait: 0.5})检查响应状态码和内容类型使用中间件处理验证码问题2爬虫被屏蔽典型表现返回403状态码返回验证码页面IP被临时封禁应对策略降低请求频率增加DOWNLOAD_DELAY使用更真实的请求头包括Referer、Accept等更换IP代理问题3数据提取不准确调试方法使用scrapy shell交互测试scrapy shell https://search.jd.com/Search?keywordpython在浏览器开发者工具中验证CSS/XPath选择器使用response.css(selector).getall()检查匹配结果5. 性能优化与监控5.1 内存泄漏排查大型爬虫常遇到内存问题。使用以下方法监控# extensions.py import objgraph from memory_profiler import profile class MemoryMonitor: def __init__(self, interval1000): self.interval interval self.request_count 0 classmethod def from_crawler(cls, crawler): return cls(crawler.settings.getint(MEMCHECK_INTERVAL, 1000)) def request_scheduled(self, request, spider): self.request_count 1 if self.request_count % self.interval 0: objgraph.show_growth(limit10)5.2 统计指标收集使用Scrapy内置的Stats Collector# spider_closed信号处理 from scrapy import signals class StatsExtension: classmethod def from_crawler(cls, crawler): ext cls() crawler.signals.connect(ext.spider_closed, signalsignals.spider_closed) return ext def spider_closed(self, spider, reason): stats spider.crawler.stats.get_stats() with open(stats.json, w) as f: json.dump(stats, f)5.3 自动化部署使用scrapyd管理生产环境爬虫安装scrapydpip install scrapyd scrapyd-client部署配置scrapy.cfg[deploy:production] url http://your-server:6800/ project book_crawler部署命令scrapyd-deploy production -p book_crawler6. 扩展Scrapy功能6.1 集成机器学习使用scrapy-ml扩展实现智能解析# pipelines.py from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import KMeans class MLPipeline: def __init__(self): self.vectorizer TfidfVectorizer() self.cluster KMeans(n_clusters5) def process_item(self, item, spider): text f{item[title]} {item.get(description,)} X self.vectorizer.fit_transform([text]) item[category] self.cluster.predict(X)[0] return item6.2 自动化测试编写爬虫单元测试# tests/test_spider.py import unittest from scrapy.http import HtmlResponse from book_crawler.spiders.jd_books import JdBooksSpider class TestJdBooksSpider(unittest.TestCase): def setUp(self): self.spider JdBooksSpider() def test_parse(self): with open(test_page.html, rb) as f: body f.read() response HtmlResponse(url, bodybody) results list(self.spider.parse_search(response)) self.assertEqual(len(results), 30) self.assertIn(title, results[0])6.3 可视化监控使用PrometheusGrafana监控爬虫# extensions.py from prometheus_client import Counter, Gauge class PrometheusExtension: def __init__(self): self.items_scraped Counter(scrapy_items_scraped, Items scraped) self.memory_usage Gauge(scrapy_memory_usage, Memory usage) def item_scraped(self, item, spider): self.items_scraped.inc() def spider_idle(self, spider): import psutil self.memory_usage.set(psutil.Process().memory_info().rss)7. 最佳实践与经验总结经过多年Scrapy实战这些经验特别值得分享增量爬取策略使用Redis记录已抓取URL的指纹对时间敏感数据添加last_updated字段实现去重过滤器时考虑URL规范化异常处理黄金法则def parse(self, response): try: # 解析逻辑 except Exception as e: yield { _type: error, url: response.url, exception: str(e), timestamp: datetime.now().isoformat() }日志记录规范# settings.py LOG_LEVEL INFO LOG_FORMAT %(asctime)s [%(name)s] %(levelname)s: %(message)s LOG_DATEFORMAT %Y-%m-%d %H:%M:%S性能调优检查清单启用HTTP缓存HTTPCACHE_ENABLEDTrue调整CONCURRENT_REQUESTS_PER_IP使用DNS缓存DNSCACHE_ENABLEDTrue禁用不需要的中间件法律合规要点严格遵守robots.txt规则设置合理的下载延迟不抓取个人隐私数据添加明确的User-Agent标识在大型电商爬虫项目中我们最终形成的Scrapy架构通常包含这些组件分布式任务队列Redis动态代理服务验证码识别微服务数据质量监控系统自动化部署流水线这种工业化的工作流程才是Scrapy真正展现其价值的地方。它让爬虫开发从脚本级提升到了工程级这也是为什么我认为Scrapy是Python爬虫领域当之无愧的王者框架。
