手机浏览 RSS 2.0 订阅 膘叔的简单人生 , 腾讯云RDS购买 | 超便宜的Vultr , 注册 | 登陆
浏览模式: 标准 | 列表分类:Ideas

时隔2天,我又把 IPV6给关掉啦[有更新]

网关上有 IPv6,小米路由器也支持 IPV6,但是国内支持 IPV6的网站太少了。导致打开各种网页都是卡成狗的样子。

把 小米的 IPV6关掉后,打开网站也立刻飞了起来
 
所以,暂时关掉,但没有和电信说关,这样我真要用的时候 ,也还可以立刻开始(直连电信的猫就行了)
同时,发现 IPV6下,迅雷下载速度飞起来了。
不知道是 BUG 还是确实是 IPV6不太好拦
 
-----
更新,又换成 IPV6啦 。估计是默认的电信的 ipv6的 dns 有问题,换成百度和阿里的,立刻就飞了起来
2400:da00::6666
2400:3200::1
备份一下:更多的查看这里:https://dns.iui.im/

之前写的一个关于抓西南航空的示例和方案

下面只是一个简单的示例和步骤

1、 首页查询OMA->OGG,点击搜索,会进入结果页,默认显示为第二天的价格,点击日期可以看到每天的价格 

2、 这时候的数据有两种获取方式 
    a) 请求API,通过浏览器生成的header头来请求,可以用webdriver模拟,速度较慢,但请求一次之后,可以得到API的数据。后续可以用这个API方式来模拟请求 
    b) 点击页面后,数据存储在sessionStorage中,通过解析sessionStorage来获取时间和价格 
3、 在route map页面,任意选择两个地点,只要能够到达,基本上都是通过API来获取数据 
---时间较短,没有细弄,现有的数据均通过python+selenium (with chrome)来获取。
 
针对2.1的方法,因为不可能一直使用chrome来抓取数据这样效率太低了,现在是做了一个测试,是可以通过加载chrome的prefLog,从LOG里找到请求/shopping的数据(也就是首页点击search以后的实际请求)。将对应的参数全部拉取出来。再使用python的Requests进行模拟请求,以获取实际的json数据。
 
后续又重新拉取了一份:直接将请求第二页的数据拉出来:
 
即,这些数据就是请求 json的结果,数据首次返回的时候是存在sessionStorage,结果如下: