示例配置文件

安装 Hysteria

首先安装 Hysteria 库：

pip install hysteria

---

创建一个新的 Hysteria 项目

使用 pip 创建一个新的项目：

pip install -e .

这将创建一个 hysteria 的虚拟环境。

---

配置 Hysteria

在你的项目中创建一个 hysteria.yaml 文件，配置如下：

    delay: 0
    retries: 3
    backoff: linear
    max_parallel: 10
    user_agent: "Mozilla/5. (Windows NT 10.; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91..4472.124 Safari/537.36"
    request_timeout: 30
    max_connections: 20
    keep_alive: true
    retries_delay: 3
    check_interval: 0
    allowed_domains: ["example.com"]
    headers:
        Accept: application/json
    request_method: GET
    cookies: {}
    proxy: http://127...1:3128

---

编写爬虫代码

在你的项目中创建一个 spider.py 文件，使用 Hysteria 的 API 编写爬虫：

from scrapy import BaseSpider
from scrapy.utils.log import log
from hysteria import Hysteria
class HysteriaSpider(BaseSpider):
    name = 'hysteria'
    allowed_domains = ['example.com']
    def start(self):
        self.logger.info("Hysteria Spider Started")
        log.info("Hysteria Spider Started")
        return
    def parse(self, response):
        self.logger.info(f"Response Status: {response.statuscode}")
        self.logger.info(f"Response Text: {response.text}")
        return {
            'url': response.url,
            'statuscode': response.statuscode,
            'text': response.text
        }

---

测试配置

运行爬虫,查看日志输出：

python spider.py

---

常见配置参数

• 代理设置：配置代理服务器地址。

  proxy: http://127...1:3128

• 请求头设置：添加自定义请求头。

  headers:
      Accept: application/json
      User-Agent: "Mozilla/5. (Windows NT 10.; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91..4472.124 Safari/537.36"

• 重试设置：设置重试次数和延迟。

  retries: 3
  retries_delay: 3

• 并行请求：设置最大并行请求数。

  max_parallel: 10

---

高级功能

• 分布式爬虫：使用 Hysteria 的分布式功能，部署多个代理节点。
• 动态代理：动态代理请求，避免被封 IP。
• 滚动爬虫：设置间隔时间，避免被封 IP。

---

常见问题

• 代理设置错误：确保代理服务器地址和端口正确。
• 网络权限问题：检查防火墙设置，确保代理服务器可以访问目标 URL。
• 重试次数不足：调整 retries 和 retries_delay 参数。