问：如何防止网站被爬虫爬取的几种办法
- 答：可以在网站的根目录加上robot.txt文件，这样就可以阻止爬虫爬取了。
- 答：只知道一种...
新建 内容
User-agent: *
Disallow: /
另腔滚存为 robots.txt 放在网旅圆凯站根拆唤目录
问：如何应对网站反爬虫策略？如何高效地爬大量数据
- 答：应对反爬策略的方法：1、模拟正常用户。反爬虫凳差兆机制枣租还会利用检测用户的行为来判断，例如Cookies来判断是不是有效的用户。
2、动态页面限制。有时候发庆拦现抓取的信息内容空白，这是因为这个网站的信息是通过用户的XHR动态返回内容信息。解决这种问题就要爬虫程序对网站进行分析，找到内容信息并抓取，才能获取内容。
3、降低IP访问频率。有时候平台为了阻止频繁访问，会设置IP在规定时间内的访问次数，超过次数就会禁止访问。所以绕过反爬虫机制可以降低爬虫的访问频率，还可以用IPIDEA***IP换IP解决限制。
问：Python爬虫如何避免爬取网站访问过于频繁
- 答：一. 关于爬虫
爬虫，是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。
反爬虫，从不是将爬虫完全杜绝；而是想办法将爬虫的访问量限制在一个可接纳的范围，不要让它过于频繁。
二. 提高爬虫效率的方法
协程。采用协程，让多个爬虫一起工作，可以大幅度提高效率。
多进程。使用CPU的多个核，使用几个核就能提高几倍。
多线程。将任务分成多个，并发（交替）的执行。
分布式爬虫。让多个设轿基备去跑同一个项凯和目，效率也能大幅提升。
打包技术。可以将python文件打包成可执行的exe文件，让其在后台执行即可。
其他。比如，使用网速好的网络等等。
三. 反爬虫的措施
限制请求头盯帆盯，即request header。解决方法：我们可以填写user-agent声明自己的身份，有时还要去填写origin和referer声明请求的来源。
限制登录，即不登录就不能访问。解决方法：我们可以使用cookies和session的知识去模拟登录。
复杂的交互，比如设置“验证码”来阻拦登录。这就比较难做，解决方法1：我们用Selenium去手动输入验证码；方法2：我们用一些图像处理的库自动识别验证码（tesserocr/pytesserart/pillow）。
ip限制。如果这个IP地址，爬取网站频次太高，那么服务器就会暂时封掉来自这个IP地址的请求。 解决方法：使用time.sleep()来对爬虫的速度进行限制，建立IP***池或者使用IPIDEA避免IP被封禁。 - 答：目前大数据的抓取都是由爬虫完成的，爬虫技术的应用很广泛，但用户都知道，一个IP频繁的抓取网站的时候，会被限制，甚至被封掉IP。扮拍那么，怎么处理爬虫频繁的问题呢？
这个问题厅悉羡的答案便是利用多IP爬虫，借助多个IP爬虫后，就可以处理频繁的问题了，具体的形式有以下几种：
1.如果使用的是局域网，并且有路由器，能够 通过重启路由的方式来换IP。
2.通过ADSL拨号，每当重新拨号的时候，IP便会变成新的，解决单IP的问题。陆亏
3.***IP在网络上购买就可以了，或是选择免费***IP，但质量不高。使用***IP能够 实现多IP爬虫，这是非常常见的方法。
4.目前还有分布式爬虫，可以通过多个服务器，多个IP，随后让多个爬虫同时进行运行，这样效率非常高。
因此 ，处理爬虫频繁的问题还是有很多方法的，常见的是后两种。爬虫需要用的***IP一般对质量要求较高，因为用的IP会比较多。 - 答：几个方法
1、***ip
2、设蠢肆槐置延迟，就雹悄是time.sleep(1000)
3、渗透带友
