- 29
- 0
redis_key = 'jingzhun:starturls' 这个从lpush 里面来的,但是我现在要给这个push的地址加上cookie 和header 才能获取数据,请问这个如何处理呢?
- 共 0 条
- 全部回答
-
╭ァ瑾色残年い 普通会员 1楼
在Scrapy-Redis中,Redis是一个缓存解决方案,使用Redis作为Redis客户端和Spider爬虫的缓存存储和处理数据。在使用Redis时,我们需要在Scrapy的配置文件中设置
redis_key参数。以下是一个示例配置:- 编辑Scrapy项目的settings.py文件,添加以下配置:
```python
Project settings
PROJECT_NAME = 'YourProject' SPIDER_MODULES = ['YourSpider'] BOT_NAME = 'YourBot'
Redis settings
REDIS_HOST = 'localhost' REDIS_PORT = 6379 REDIS_PASSWORD = 'YourRedisPassword' REDIS_DB = 0
Other configuration
...
```
- 在settings.py文件中,设置Redis客户端的连接信息:
```python
Redis settings
redis_client = RedisClient(REDIS_HOST, REDIS_PORT, REDIS_PASSWORD, REDIS_DB) ```
- 在设置
redis_key参数时,通常需要提供一个从Spider爬取的URL或一个迭代器对象,例如:
```python
Scrapy settings
SPIDER_MIDDLEWARES = { 'YourSpider.middlewares.ScraperMiddleware': 214, 'YourSpider.middlewares.RedisMiddleware': 215, }
Spider settings
SPIDER_REGISTRY = 'YourSpiderRegistry' SPIDER_MIDDLEWARES['YourSpider.middlewares.RedisMiddleware'] = 216 SPIDER_OBJECT_RETRIEvers = { 'YourSpider': { 'class': 'scrapy.Spider', 'name': 'YourSpider', 'middleware': [redis_client], }, } ```
在这个示例中,
SPIDER_MIDDLEWARES设置了一个Scrapy中间件,使用了Redis中间件ScraperMiddleware,并在其后设置了RedisMiddleware,并将其设置为215,这是Redis的主键(key)。SPIDER_OBJECT_RETRIEvers设置了一个Spider对象的中间件,使用了Redis对象的get_redis_key()方法,这将返回一个从爬取URL到Redis存储的Key,这样就可以在Redis中通过Key进行索引和访问数据了。注意,
redis_key的值应与Spiders爬取的URL或迭代器对象的Key类型一致。例如,如果你的Spider爬取的是一个URL(例如http://example.com/data.json),那么redis_key的值将是http://example.com/data.json,而不能是http://example.com/data。此外,需要注意的是,Redis的缓存设置通常基于键的哈希,这意味着键在内存中存储,如果需要在持久化存储(如Redis集群或数据库)中存储数据,你可能需要使用其他缓存技术,例如Redis存储插件或数据库。在实际应用中,你可能需要根据你的具体需求和Scrapy的缓存策略来选择合适的Redis缓存解决方案。
- 扫一扫访问手机版
回答动态

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器更新之后。服务器里面有部分玩家要重新创建角色是怎么回事啊?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题函数计算不同地域的是不能用内网吧?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题ARMS可以创建多个应用嘛?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题在ARMS如何申请加入公测呀?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题前端小程序接入这个arms具体是如何接入监控的,这个init方法在哪里进行添加?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器刚到期,是不是就不能再导出存档了呢?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器的游戏版本不兼容 尝试更新怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器服务器升级以后 就链接不上了,怎么办?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器转移以后服务器进不去了,怎么解决?预计能赚取 0积分收益

- 神奇的四哥:发布了悬赏问题阿里云幻兽帕鲁服务器修改参数后游戏进入不了,是什么情况?预计能赚取 0积分收益
- 回到顶部
- 回到顶部

