找回密码
 加入怎通
查看: 254|回复: 4

互联网大数据时代,如何低成本甚至零成本获取高价值数据_大数据怎么利用

[复制链接]
我来看看 发表于 2023-03-26 13:55:37 | 显示全部楼层 |阅读模式
4 l% X9 q# \1 h5 w) Z

以前做网站只需要PC Web版就可以,但随着科技的发展,诞生了智能手机、平板等显示终端,为了适应不同平台的内容展示,很多网站都开发了API有些自己内部用,有些对外公开尤其到了大数据时代,需要各种各样的格式化数据,很多都可以通过API获取。

$ I1 G! t! j3 R- \ c) C3 _

什么是API?API(Application Programming Interface,应用程序编程接口)是一些预先定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码,或理解内部工作机制的细节。

. [4 m5 J) j( B* o3 x9 G

API是通过把程序内部的一些功能有限地向外开放,这使得应用之间可以分享交换数据,同时不需要公布所有的软件代码可以把它看成是一扇门、窗或杠杆以滴滴打车为例,打开软件你就可以到一张地图,上面会显示附近的车辆。

$ q( j; F0 k0 h1 K* X

而这个地图并不是滴滴开发的,而是调用的腾讯地图API(据说滴滴打算要自己做地图了)还有当你用Safari浏览器看到一篇好文章,可以随意分享到微信、新浪微博、QQ等地方,这也是靠API公开的API很多互联网公司都提供了开放平台,里面就有各自的服务API。

8 z6 `% ~' Z( R8 V5 \* I

微信开放平台https://open.weixin.qq.com/淘宝开放平台http://open.taobao.com/百度开放平台http://open.baidu.com/新浪微博开放平台http://open.weibo.com/

X' H( O- E" Y8 F

腾讯开放平台http://open.qq.com/讯飞开放平台http://www.xfyun.cn/高德开放平台http://lbs.amap.com/搜狗开放平台http://open.sogou.com/

& ~1 }7 h) E2 J" s

太多了,不再一一列举,基本上“品牌+开放平台”都可以搜的到这些开放平台都是基于自己的产品或利益,开放了一些API接口也有一些第三方平台,聚合了更多API,提供付费或免费的API服务,种类更多,功能更细国内的第三方API聚合平台

8 [0 _$ C5 x) _& L7 Q2 n* L

Baidu API StoreAPI Store_为开发者提供最全面的API服务

& r" }2 p+ @6 E$ K& o6 C

极速数据API接口数据接口平台免费数据大全 - 极速数据

* d: [9 I3 j) r2 I- F

好服务数据API数据接口开发者数据定制免费数据调用_好服务数据

4 F' d3 V2 ]( `% _9 U8 n7 O7 _8 m

易源接口ShowAPI易源接口-致力于互联网数据接口化

- W w9 J) O. _, z/ v

阿里云市场API_API接口平台_API数据【最新】_API接口大全_API认证 - 阿里云

6 W4 |3 R2 w* h4 `0 ?0 M

国外的第三方API聚合平台Apigee API Consoles | Featured provider directoryhttps://apigee.com/providers

) m5 L3 c; }" O _5 c

在Github上有一个收藏一万多的项目,里面编辑整理了很多国外的公共API服务toddmotto/public-apis非公开API除了公开API,实际上有很多平台都有自用的API是不对外公开的但是可以通过抓包工具或者简单的Chrome审查元素分析获得。

: g% | l+ s2 W; X0 ~; i$ j% l

比如做SEO的都很关注各个搜索引擎的相关搜索词或下拉词:360下拉词https://sug.so.360.cn/suggest?callback=suggest_so&encodein=utf-8&encodeout=utf-8&format=json&fields=word,obdata&word=关键词&mid=91553

]! N0 a! \ u# z. c

百度下拉词https://sp0.baidu.com/5a1Fazu8AA54nxGko9WTAnF6hhy/su?wd=关键词&json=1搜狗下拉词https://www.sogou.com/suggnew/ajajjson?key=关键词&type=web&ori=yes

3 ^$ l$ ?4 x* G4 I- s2 O+ f

必应下拉词http://cn.bing.com/AS/Suggestions?pt=page.home&mkt=zh-cn&qry=关键词&cp=2&o=hs&cvid=2EB7121644FB426F9CCC1BB35E11FCE1

/ {6 J( f" K* R2 o$ F9 A

如果你采集的文章需要配图,那就可以借助好搜的图片API:http://image.so.com/j?q=关键词&src=srp&sn=30&pn=20如果你想搞些新闻类信息,那么今日头条搜索API很适合:

2 a* V* O' L! g' X' E* A3 @% M

http://www.toutiao.com/search_content/?format=json&keyword=关键词个人很喜欢“即刻”APP里的某些频道,用Chrome浏览器分析就可以获得API调用方式,结构如下:

2 h7 | T; e$ r

http://app.jike.ruguoapp.com/1.0/topics/showDetail?topicId=频道ID然后我就可以把即刻APP变成个性化的Web版:乔木阅读器

& q3 {, [9 [3 m, p- l; @

有些时候即使没有格式化的JSON API,你可以通过编程采集需要的内容,从而“自制API”总结互联网数据量越来越庞杂,当你想要一些有价值的格式化数据时,API是一个很好的选择API很符合互联网开放互连的精神,正是因为有这些样五彩缤纷的接口,才能让我们避免重复造轮子,快速搭建实用的服务。

5 v% M' B0 n1 q8 M- A F

比如国外知名的IFTTT和Slack,都在API组合调用上让人叹为观止如果你有好的私藏API,欢迎留言分享。

0 t1 J) M( q6 Z% i- S" Q' a( w$ \. \ - M( ~, _. R) k7 X( B& ]5 m( h& J4 a% A4 V# ? / [' N1 J. k4 y7 _9 v2 l+ m y: e+ E9 x

暂时无法加载帖子列表

回复

使用道具 举报

裕工 发表于 2026-08-30 16:55:14 | 显示全部楼层
蹲了这么久,终于看到有价值的讨论,支持一下!
回复

使用道具 举报

深山老林庞迎春 发表于 2026-08-31 10:05:57 | 显示全部楼层
楼主辛苦了,整理这么多内容,必须点赞收藏
回复

使用道具 举报

≮_龍/kuk域_≯ 发表于 2026-09-12 04:51:59 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复

使用道具 举报

头像被屏蔽
1519138366 发表于 2026-09-12 11:22:16 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-10-1 03:31 , Processed in 0.035906 second(s), 24 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表