众所周知,jsonp
接口返回的是一段 js
脚本,在浏览器中使用 script
标签引入、加载成功后,会直接执行其中的 callback
方法,以参数的形式直接返回真正有用的接口数据,以此达到跨域请求的目的。但是如果在非浏览器环境(node执行环境)中怎么来抓取呢,本文就主要介绍一下,服务端nodejs抓取jsonp接口数据 的思路方法和踩过的坑。
前言
出于好奇,最近在研究使用 node
程序分析股票的数据,看看能不能找到一些规律。
但前提是要获取一批数据,所以查看了几个相关的网站平台,通过开发者工具的 network
查看,其中接口数据基本都是使用 jsonp
格式的。
温馨提示: 不要过度频繁爬取数据,可能涉及网络安全问题。
方法思路
- 在
node
服务端使用axios
获取jsonp
返回的内容 - 使用
typeof
查看返回内容的类型 - 解析
jsonp
返回的内容、执行其中的callback
方法
关键在于这第三步,在 node
环境中如何动态的执行这一段 String
类型的代码。
Node环境动态执行脚本
eval()
直接调用,使用本地作用域。
1 |
|
Function
与 eval
不同的是,Function
创建的函数只能在全局作用域
中运行。test()
执行会报错:ReferenceError: x is not defined
。
1 |
|
vm.runInThisContext
(推荐)
vm 是 node
的核心模块,vm
可以使用 v8
的 Virtual Machine contexts 动态地编译和执行代码,而代码的执行上下文与当前进程隔离。
被执行的代码无法获取本地作用域,只能在当前的 global
对象的上下文中编译并执行 code
。
1 |
|
完整代码实现
1 |
|
特别提醒:
浏览器环境与 Node
执行环境挂载全局对象是有区别的。
在浏览器环境中,全局作用域可以使用 var
来声明一个变量或方法,会自动挂载到 window
对象上;
但是在 Node
环境中,每个文件或者模块,都会被封闭在一个单独的作用域,因此不管在哪里声明的变量,相对于当前模块或文件,都是在局部作用域,不会自动挂载到全局 global
对象中,如果要使用必须手动去挂载。
欢迎访问:天问博客
发布时间: 2022-04-07
最后更新: 2023-07-17
本文标题: 服务端nodejs抓取jsonp接口数据
本文链接: https://www.tiven.cn/p/a99dbb56/
版权声明: 本作品采用 CC BY-NC-SA 4.0 许可协议进行许可。转载请注明出处!
v1.4.16