使用Puppeteer获取Twitter API authorization和x-guest-token
前言最近一个项目需要抓取Twitter的一些数据，但是申请Twitter开发者API被拒绝了，只能研究研究网页端的API了，经过几次尝试，发现最少需要以下几个参数才能访问API： 这里的authorization和x-guest-token是由js生成的，获取起来很麻烦，如果去分析加密的js估计头发会掉光，所...
前言当我们在爬取某些网站的数据时，过快的访问频率往往会触发反爬取机制，导致ip被禁止访问，使用IP代理是一个比较好的解决方案，所谓的IP代理其实就是提供若干个HTTP/HTTPS/SOCKS/L2TP等代理。今天刚好需要IP代理就去找了一下，发现青果提供了8小时的试用并且后续价格也比较划算，就先开始了试用。 开始...
前言Centos7自带的Python版本是2.7，由于目前还有很多库依赖于Python2.x，所以并不建议完全卸载2.x版本，因此需要与3.x版本共存，3.x需要自行下载编译安装。 安装Python3.x安装第三方库 下载Python3.x 编译并安装 创建软链接 验证Python版本 安装pip下载并安装pip...
起因前几天用VirtualBox装Kali就一直装不上，今天闲下来按照某度上的各种方式试了一遍还是没解决问题，之后换了VMware就顺利装上了，不过中文都变成了小方块，按照网上的说法是下载了精简版Kali导致的中文字库缺失，随即进行了如下的尝试解决了这个问题。 解决步骤Step 1首先要确保locales已经安装...
301与302的区别301是HTTP协议状态码之一，它表示的含义是永久性的转移（Permanently Moved），而302代表的是暂时性的转移（Temporarily Moved），当用户或搜索引擎访问服务端且返回这两个状态码时，在Header中的Location字段将包含将要跳转到的网址，区别是301表示旧...
前几天访问Github还好好的，昨天夜里就怎么也上不去了，早上爬起来Ping了几个ip丢到hosts就好了。 如果使用Windows系统，hosts文件一般在C:\Windows\System32\drivers\etc路径下，打开之后追加如下内容即可，这些ip的访问速度可能根据你的网络运营商决定，并且可能会发生...
对于喜欢的UP主，是不是有种想要把他（她）所有的投稿下载并珍藏起来的冲动呢，不过要怎么做？用APP逐个投稿缓存在转移到PC上？或者使用诸如you-get之类的第三方工具？这些都太麻烦了，需要一个一个的点进去或者输入av号，因此就写了个下载UP主所有投稿的工具，没有太多技术含量，都是一些机械工作，下面只强调几个注意...
利用SCF解决跨域、防盗链及HTTPS不能降级请求HTTP资源问题
问题阐述在Web应用开发中，我们经常会遇到跨域，Refer防盗链以及HTTPS不能降级访问HTTP资源问题，一般的浏览器禁止了跨域请求且Ajax等方式不允许修改某些Header（如Refer和Orign），针对这三种情况我们一般只能通过代理访问来解决，即在自己的服务器上写一个代理小程序，再通过自己的域名访问这个小...
起因事情的起因是这样的，最近需要在某系统上注册一个账号，结果怎么都收不到邮件，试了有十几次，然后我去打听了一下，所有人都是这样，少则十几次才能收到，多则几十次，便萌生了写脚本自动提交的想法。 分析逻辑第一步当然要分析逻辑，这也是最重要的一步，好在这个系统比较简单，没一会儿就分析好了。先看一下表单：两个输入框分别输...
由于.cc域名暂时不能备案又不舍得丢，只好将博客迁移到Gitpage，最近会将一些有价值的文章从原博客上迁移过来，WordPress有些过于方便导致最近的文章有些水，这次就打算好好写一些长文了。并且打算用空出的服务器开发出一些小工具来供朋友们使用，毕竟一直白嫖API也怪不好意思的，哈哈哈。
Page 2 / 2