支付宝爬虫(Scrapy版本)

目前的进度

  • 2019年1月2日:

    • 目前建议运行AlipayCore_v2的代码(如果没有装pywin32的依赖的话尽量不要使用AlipayCore)

    • 好久一段时间没有更新了(账单通过selenium的方式基本上都会被支付宝识破了)

    • 爬取账单的接口的核心就是cookie的有效性,打算之后从cookie的有效性上开始入手
    • 目前代码基本定型,后续需要交流的可以加我的微信或者QQ或者提issue也可以(目前暂时因为工作原因没有太多精力去研究了)
    • 可能通过验证码登录的方式会比较有效(但是偶尔也会被封~)

    • 新增的一些东西:

    • spiders下新增了一个v2的方式就是通过Scrapy结合urllib的形式进行爬取(偶尔可行,主要还是需要面对支付宝的点击流模型)
    • utils下就新增bill_page_option(一下账单的参数), bill_parser简单的urllib的爬虫
阅读更多
2018年12月总结

12月的总结.

  • Emirates 德奥捷之旅 & 工作
阅读更多
2018年11月总结

11月的总结.

  • 纪念日 & 加班 & 项目 & 焦急等待签证的我
阅读更多
2018年10月总结

10月的总结.

  • PyCon & 疲惫的身躯
阅读更多
2018年8月总结

8月的总结.

  • 出门远游 & 正式工作的第一个月
阅读更多
Scrapy-Kafka Demo

Scrapy & Kafka的一个Demo.

  • 实现Scrapy通过kafka producer发送数据给consumer消费.
阅读更多
Sanic 微信公众号开发 --- 初探
  • Sanic的一个Demo(like Flask)
  • 第一个稍微正式点的Demo用来开发微信公众号
阅读更多
Windows10下多版本Python安装及使用

  • 系统版本: Windows 10 (x64)

  • 共存版本: Python3.4.4 / Python3.6.4


  • 安装就不讲了很简单的(记得选自定义安装,选好目录)

  • 安装之后分别配置环境变量(记得!是分别配置)

  • 然后修改每个Python下的python.exe和pythonw.exe

    • 注:自己是python3.4和python3.6共存;所以我改成了python34.exe pythonw34.exe(3.6的那个同理)
  • 修改好后去CMD测试下 (python34和python36)

  • 测试成功后,测试下pip3.4(python3.4的pip命令)…结果应该是不行的

  • 解决办法: 这时候在CMD分别输入如下命令

    1
    2
    python34 -m pip install --upgrade pip --force-reinstall
    python36 -m pip install --upgrade pip --force-reinstall
  • 最后再测试下pip3.4 和 pip3.6

  • 最后提醒下!以后安装东西就需要指定版本了

  • 例如安装lxml:就是pip3.6 install lxml了 (一定要切记!)


  • 用过Pycharm的同学请注意:
  1. 之前有用Pycharm写过项目的记得去Pycharm的Python解释器修改下路径就ok了~

  2. 新建项目默认是最新版本的解释器,如果需要切换的记得调整下Project Intercepter.


阿里云配置Gitlab

Gitlab服务端的配置
Gitlab

阅读更多
Hello 2018

Hello2018

2018年工作计划:

阅读更多