手机浏览 RSS 2.0 订阅 膘叔的简单人生 , 腾讯云RDS购买 | 超便宜的Vultr , 注册 | 登陆
浏览模式: 标准 | 列表全部文章

2002即将过去,记录一下

2022就这样悄无声息的走到了最后一天,今年过的很快也很慢,快到感觉都没出几次小区,一年就这么过去了,慢到感觉天天就是这样的轮回才过完了一年。

一切都是从3月底的事件开始,但事实它并没有对我们产生多大的影响,但却给全国做了一个很好的榜样,告诉其他省市应该怎么做了。这些事情和工作无关就此跳过
 
来,开始一一回顾一下:
1、记得去年的时候说今年要换laravel把博客重写一下,事实上前台确实有重写,基于inertiajs重写了一份,但因为没有好的皮肤,所以还是放弃了,后面又基于typecho把数据库重导了一份,自己写脚本自己导数据,也是因为效果不好而放弃了(中间还买了套typecho的皮肤,买完后才发现其实写的有点乱,不适合我这种简约派)。所以自己为typecho写插件写这写那,写了一堆玩意,然而还是没有好好皮肤,于是先上线了https://blog.neatcn.com,用来记录开发中的点滴
 
2、2022年学习了flutter,用来实际开发了3个APP,尝试了bloc/riverpod/getx三种state的管理工具,自己写组件也写了几十个,踩坑无数,但好歹能够用了(离精通还是有距离,这个和去年的展望还是对应上了)
 
3、把原来睿读的英语基于inertiajs前台重构了一份,后台过段时间会考虑。原来是说2022年会做一些自己的产品,而不再局限于外包的,结果疫情天天在家,把自己都给弄废了。从明天开始就以此为2023年的目标:宠物类、WMS、物业以及一个标准的CMS,做为自己公司的产品,同时会申请软著。小项目会逐步放弃。
 
如果遇到好的模板,就把博客上线成laravel的,如果遇不到好的模板,嗯,那就用inertiajs+tailwindcss+现在的界面重撸一份。
 
tomorrow is coming!2023,雄起

之前写的一个关于抓西南航空的示例和方案

下面只是一个简单的示例和步骤

1、 首页查询OMA->OGG,点击搜索,会进入结果页,默认显示为第二天的价格,点击日期可以看到每天的价格 

2、 这时候的数据有两种获取方式 
    a) 请求API,通过浏览器生成的header头来请求,可以用webdriver模拟,速度较慢,但请求一次之后,可以得到API的数据。后续可以用这个API方式来模拟请求 
    b) 点击页面后,数据存储在sessionStorage中,通过解析sessionStorage来获取时间和价格 
3、 在route map页面,任意选择两个地点,只要能够到达,基本上都是通过API来获取数据 
---时间较短,没有细弄,现有的数据均通过python+selenium (with chrome)来获取。
 
针对2.1的方法,因为不可能一直使用chrome来抓取数据这样效率太低了,现在是做了一个测试,是可以通过加载chrome的prefLog,从LOG里找到请求/shopping的数据(也就是首页点击search以后的实际请求)。将对应的参数全部拉取出来。再使用python的Requests进行模拟请求,以获取实际的json数据。
 
后续又重新拉取了一份:直接将请求第二页的数据拉出来:
 
即,这些数据就是请求 json的结果,数据首次返回的时候是存在sessionStorage,结果如下: