往期文章
python爬虫入门篇
还没看过前一篇的尽可能去看前一篇文章有基础的记住不要一来就打开开发者工具就好
为什么不能直接打开开发者工具
误判开发者工具中的Elements就是源代码
因为我们发出请求的第一个请求到的文件就是网页的源代码文件
为什么源代码和Elements显示的不一样呢?
因为大部分网页是动态的,比如股票市场数据是实时更新的那么我们不可预知,也可能写很多个网页去一个一个替换,用户还要刷新才能得到数据,这是不可能的。
那怎么把实时数据放在网页上呢?
通过JavaScript把接口数据放到html显示的内容中去
④api是什么东西?
接口可以类比于银行前台小姐,如果你要取钱,你可以跟小姐说明并且出示你的身份证明,她去给你取出来交给你。这就是接口做的事,你把你的cookie或者请求头给它,它判断你是否能请求到这些数据,然后再把数据交给你。
那么说到这了,这不就好办了嘛,我们只要找到接口,然后发起请求,收到数据,再进行整理,可视化做出你想要的东西。
如何找到api
emmm这个找个网站给大家当例子,不是恶意爬取
我就找一个网上应该没有人爬过的国家统计局官网
进去的时候可以看到这些数据
ok老方法ctrl+u看看源代码可以看出来数据是不在源代码中的源代码中有很多的JavaScript语句,我们就可以判断这个网站是一个动态的网站
现在我们再打开我们的开发者工具然后在search框中输入居民消费价格指数这句话
你就会发现哦哦哦哦哦有个文件里面有这么个数据ok恭喜你找到了api接口
然后点击进入找到网址这里解释一下network里面的一些字段含义:
最后先大胆尝试有不懂的可以私信问我
成果展示
把数据放入exel表内
然后制作好几副简单的柱状
ok这是很久之前的成果了不是很注重可视化这种东西不要介意
完整代码
这个代码做了个异步其实还好不是很需要可以看看这串代码然后照着思路打还是比较简单的
文章为作者独立观点,不代表 股票程序化软件自动交易接口观点