• pyppeteer.errors.PageError: net::ERR_NO_SUPPORTED_PROXIES解决办法

    在使用pyppeteer,使用代理ip,而这个代理需要通过验证才可以使用,在普通使用时遇到错误信息如下:pyppeteer.errors.PageError:&net::ERR_NO_SUPPORTED_PROXIES我的代码如下:import&asyncio from&pyppeteer&import&launch async&def®ister(): &&&&browser&=&aw
    爬虫 2562 人阅读 0 条评论
  • pyppeteer 使用匿名代理ip

    在pyppeteer 使用匿名代理ip,由于购买的代理ip,需要验证用户名和密码解决方法如下
    爬虫 2591 人阅读 0 条评论
  • Git创建新分支并提交到github

    背景:因为添加需求,涉及到底层代码,为了开发不影响线上运行代码,将原来的代码创建一个新的分支,来作为开发。第一步:查看当前的分支情况git&branch结果如下:>>>&git&branch *&master第二步:创建本地分支并切换到新的分支git&checkout&-b&dev #&等同于 git&branch&dev git&checkout&dev查看分支>>
    开发工具 605 人阅读 0 条评论
  • selenium 实现上传图片/文件多种方法

    个人在写脚本时遇到需要selenium来上传图片。第一种方法:一般比较简单的网站可以使用以下方法(只使用非常简单的网站):
    python 1212 人阅读 0 条评论
  • mitmproxy 5种代理模式

    操作模式有5种:1.  正向代理( Regular Proxy)(常规模式)2.  透明代理(Transparent Proxy)3.  反向代理(Reverse Proxy)4. 上游代理(Upstream Proxy)5. socks代理(SOCKS Proxy)如何选择使用?1. 一般在服务端会使用反向代理2. 当你不需要将客户端配置为显式使用HTTP代理。可以使用透明代理3. 当你不许需要使用mitmproxy作为第二
    python 3478 人阅读 0 条评论
  • 使用 mitmproxy + python 做拦截代理

    本文是一个较为完整的 mitmproxy 教程,侧重于介绍如何开发拦截脚本,帮助读者能够快速得到一个自定义的代理工具。本文假设读者有基本的 python 知识,且已经安装好了一个 python 3 开发环境。如果你对 nodejs 的熟悉程度大于对 python,可移步到 anyproxy,anyproxy 的功能与 mitmproxy 基本一致,但使用 js 编写定制脚本。除此之外我就不知道有什么其他类似的工具了,如果你知道,欢迎评论告诉我。本文基于 mitmproxy v4,当前版本号为 v
    python 1132 人阅读 0 条评论
  • Pyperclip 适用于Python的跨平台剪贴板模块。(现在只处理纯文本。)

    项目描述Pyperclip是一个跨平台的Python模块,用于复制和粘贴剪贴板功能。它适用于Python 2和3安装:pip install pyperclip样例:import&pyperclip pyperclip.copy('要复制到剪贴板的文本。') pyperclip.paste() '要复制到剪贴板的文本。'注意:目前只处理明文。在Windows上,不
    python 810 人阅读 0 条评论
  • 安装pyautogui提示UnicodeDecodeError: 'gbk' codec can't decode byte 0xa2 in position 905: illegal multibyte sequence

    背景:window10,python3.6在安装pyautogui提示错误   UnicodeDecodeError: 'gbk' codec can't decode byte 0xa2 in position 905: illegal multibyte sequence的解决方法
    python 1982 人阅读 0 条评论
  • selenium 最方便调试代码方法(同时解决知乎/淘宝等反爬)

                                                       背景:在开发selenium脚本时经常遇到代码定位元素失败,无法定位,按照传统方法每一次测试定位元素都需要重新运行执行一次程序,效率及其低下。                                            

    python 1521 人阅读 0 条评论
  • selenium 错误:Message: invalid selector: Compound class names not permitted

    背景:点击知乎的写回答按钮提示错误:selenium.common.exceptions.InvalidSelectorException:&Message:&invalid&selector:&Compound&class&names¬&permitted知乎按钮html<div&class="QuestionButtonGroup"> &&&<but
    爬虫 597 人阅读 0 条评论