事件背景
前不久我写了一个按歌手爬取酷狗音乐所有歌曲的爬虫,然后在昨天2019年5月10日使用的时候出现了错误,排查问题后发现是获取歌曲相关信息的那个接口做了修改,导致我原有的爬虫失效。在测试后发现,在原有的基础上需要携带Cookie里面的kg_mid参数才能正常获取,然后我去浏览器里面查看页面刷新出来的请求,发现kg_mid参数是浏览器生成的而不是服务器返回的,所以就开始了逆向前端JS的过程。
逆向过程
-
首先我查看了所有的请求,然后筛选后只保留了获取JS文件的请求,确定具体是哪个文件最死板的方法是一个个打开然后去查有没有
kg_mid这个参数的相关生成方法,但是这里我们根据JS文件的名字推测出应该是我标记的这个kguser_min.js文件,因为Cookie就是相当于用户的身份,所以根据user能推测出是这个文件,事实上也确实是在这个JS文件里面,所以有时候合理的推测是可以大大减小我们的工作量的。

-
将这个JS文件下载下来用编辑工具打开,这里我用的是Notepad打开的

-
但是打开后发现格式并没有对其,代码挨在一起阅读比较困难,

本文介绍了一次酷狗音乐爬虫遇到的问题及解决过程,通过逆向前端JS代码,解析出生成kg_mid参数的方法,实现了爬虫的修复。
1669

被折叠的 条评论
为什么被折叠?



