• beautifulsoup 使用正则(re) 匹配标签

    使用beautifulsoup 使用正则(re) 匹配标签示例网址:https://baike.baidu.com/item/%E5%88%98%E5%8F%8B/7196 提取页面上链接格式为:/historylist/from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'lxml') a_ele=soup.find("a",{'href':re.compile("/historylist/

    爬虫 490 人阅读 0 条评论
  • python3 requests 爬虫请求头解决gzip, deflate, br中文乱码问题

    使用python3做爬虫的时候,一些网站为了防爬虫会在请求头设置一些检查机制,因此我们就需要添加请求头,伪装成浏览器正常访问。字段情况,详见下表:请求头字段说明响应头字段Accept告知服务器发送何种媒体类型Content-TypeAccept-Language告知服务器发送何种语言Content-LanguageAccept-Charset告知服务器发送何种字符集Content-TypeAccept-Encoding告知服务器采用何种压缩方式Content-Encoding"Accept-Encoding":是浏览器发给服务器,声明浏览器支持的编码类型。一般有gzip,d

    爬虫 1798 人阅读 0 条评论
  • requests 保存cookies和读取cookies

    requests 保存cookies和读取cookies在会话中保留状态,可以使用request.Session()# 获取cookie url = 'http://www.baidu.com' r = requests.get(url) r.cookies # 将CookieJar转为字典: cookie_dict= requests.utils.dict_from_cookiejar(r.cookies) # 将字典转为CookieJar: cookies = reque

    爬虫 477 人阅读 0 条评论
  • selenium ChromeDriver及ChromeDriver下载链接

    selenium  ChromeDriver及ChromeDriver下载链接

    爬虫 901 人阅读 0 条评论
  • 谷歌验证码 reCAPTCHA 识别

     reCAPTCHA官方介绍:https://developers.google.com/recaptcha厂商网址:https://2captcha.com/2captcha-api#rates来源:https://mp.weixin.qq.com/s/5qOE56tciKf5zrRUUtm4AA

    爬虫 1482 人阅读 0 条评论
  • linux下chrome和chromedriver的安装

    linux下chrome和chromedriver的安装

    爬虫 1439 人阅读 0 条评论
  • selenium 保存网站的验证码图片

    我正在尝试使用Selenium下载一个验证码图像,但是,下载的图像与浏览器中显示的图像不同。 如果我尝试在不更改浏览器的情况下再次下载该图像,则会得到另一种验证码图像。

    爬虫 1755 人阅读 0 条评论
  • 密码控件安全技术介绍及破解汇总

    密码控件安全技术浅析及攻击实例 https://blog.csdn.net/otishiono/article/details/51524444JAVA不同层次模拟按键思路分享 https://blog.csdn.net/cb44606/article/details/50060087JAVA不同层次模拟按键详细说明分享 https://wenku.baidu.com/view/e2b3233683c4bb4cf7ecd126.html驱动级模拟键盘事件winio的Java调用代码 https://github.com/bobbyguo/winio使用JNA解决Selenium无法做密码输入操

    爬虫 1714 人阅读 0 条评论
  • selenium 判断元素element是否存在方法

    selenium 判断元素element是否存在方法

    爬虫 3836 人阅读 2 条评论
  • selenium 判断输入框的值是否正确(text_to_be_present_in_element_value)

    在使用selenium开发脚本时,经常需要判断输入框中某一个元素是否存在指定的文本,比如判断某个输入框的中内容是否是指定的内容时,这是就需要text_to_be_present_in_element_value。

    爬虫 1853 人阅读 1 条评论