爬虫问题整理（2025.3.27）

此时此刻，困扰我一天的两个问题终于得到了解决，在此分享给大家。

问题1：使用anaconda prompt无法进行pip安装，这里只是一个示例，实际安装任何模块都会出现类似报错。

解决办法：关掉梯子......没错，就这么简单。

问题2：使用PyCharm运行爬虫，始终运行不起来，出不来进度。

前提条件：我是想要爬取外网数据，所以需要挂梯子。

解决办法：参考某乎博客  爬虫外网代理：https://zhuanlan.zhihu.com/p/609389450

一般本机的Clash软件的HTTP代理地址为127.0.0.1:7890，可以通过以下代码来设置代理：

import requests

proxies = {
    "http": "http://127.0.0.1:7890",
    "https": "http://127.0.0.1:7890",
}

response = requests.get("https://www.example.com", proxies=proxies)

再运行就会发现好啦！！！