网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
可签
7
级以上的吧
50
个
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
03月19日
漏签
0
天
billboard吧
关注:
597,392
贴子:
56,887,638
看贴
图片
吧主推荐
视频
游戏
1
2
下一页
尾页
29
回复贴,共
2
页
,跳到
页
确定
<返回billboard吧
>0< 加载中...
【Billboard】python爬虫爬取billboard榜单数据
只看楼主
收藏
回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
这几天写python爬虫用billboard练手时,在github发现了一个大佬写的爬虫,跟大家分享下。虽然自己写了一个,由于技术渣就先用大佬的项目,不过目前抓取图片还存在问题所以就用自己写的,后面也会贴上(小白技术勿喷)。原项目:
网页链接
开发者:guoguo12
楼主很久没玩贴吧了,不懂发帖格式。之前的贴被删了,我是煞比
,吧务大大求放过
送TA礼物
IP属地:广东
来自
iPhone客户端
1楼
2022-10-22 09:22
回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
IP属地:广东
2楼
2022-10-22 09:24
回复
收起回复
阴阴阴阴
恭喜B吧
13
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
挺好
IP属地:北京
来自
Android客户端
3楼
2022-10-22 09:28
回复
收起回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
运行环境:python(3以上版本) pycharm(建议安装)
运行所需外部库:bs4 requests
楼主用的python版本3.10,目前运行没有版本问题,这个包直接用pip下载安装就完事了,bs4和requests包也一样用pip安装。
IP属地:广东
4楼
2022-10-22 09:30
回复
收起回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
运行环境和外部工具安装完毕后就可以开始爬取了
1.爬取整个榜单——以billboard hot 100周榜为例
先导入billboard模块
使用函数ChartData,向函数传递以下参数:
name,榜单的名称(即billboard榜单的网址url部分),类型为字符串
date,日期,不需要传递发布榜单的特定日期,billboard网站后端会自动根据你给定的任意日期返回所在周的榜单,当不传递日期参数时,爬虫默认会爬取当天所在周的榜单。日期格式为YYYY-MM-DD,类型为字符串
year,年份,当需要爬取年榜时传递年份参数,格式为YYYY,类型为字符串
IP属地:广东
5楼
2022-10-22 09:40
回复(1)
收起回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
2.使用ChartData函数爬取榜单成功后,会返回一个类型为ChartEntry(大佬定义)的实例对象,该对象具有以下属性:
title 歌名
artist 歌手
rank 当前排名
peakPos 历史最高排名
lastPos 上周排名
weeks 在榜周数
isNew 是否为新上榜歌曲
image 单曲或艺人的图片网址(目前无法爬取)
当chart是一个ChartEntry类型的对象时,我们可以通过它的属性获取具体榜单数据,示例如下:
IP属地:广东
6楼
2022-10-22 09:48
回复(1)
收起回复
marigold
恭喜B吧
13
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
mark了
IP属地:广东
来自
iPhone客户端
7楼
2022-10-22 09:50
回复
收起回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
输出结果如下:
我们也可以直接将chart打印,获取整个榜单,输出结果如下:
IP属地:广东
8楼
2022-10-22 09:50
回复
收起回复
飞雪慢飘
美妆商人
12
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
在B吧原来也可以学技术,爱了
IP属地:北京
来自
iPhone客户端
9楼
2022-10-22 09:51
回复
收起回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
3.常用榜单的url名
当我们使用ChartData函数时需要传递榜单名称参数,其实就是告诉爬虫我们要爬的榜单的网址url,由于爬虫代码已经写了url的一部分,我们只需要传递剩下的一部分。如图
IP属地:广东
11楼
2022-10-22 09:59
回复
收起回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
下面贴一些常见的榜单名称,便于后续使用:
hot100周榜:"hot-100"
album200周榜:"billboard-200"
R&B周榜:"r-and-b-songs"
EDM周榜:"dance-electronic-songs"
country周榜:"country-songs"
global周榜:"billboard-global-200"
R&B/Hip-Hop周榜:"r-b-hip-hop-songs"
rock周榜:"hot-rock-songs"
artist周榜:"artist-100"
IP属地:广东
12楼
2022-10-22 10:01
回复
收起回复
智羊羊
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
支持
IP属地:北京
来自
Android客户端
13楼
2022-10-22 10:02
回复
收起回复
核桃侠123456
首页天后
15
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
支持
IP属地:山东
来自
Android客户端
14楼
2022-10-22 10:05
回复
收起回复
泡泡爱上我
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
技术🐔同行
IP属地:浙江
来自
Android客户端
15楼
2022-10-22 10:05
回复
收起回复
半岛高斯
杂技女伶
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
如果不知道榜单的名称,可以在
https://www.billboard.com/charts
里查找,官网所有的榜单都能在里面看到,包括pro chart(正常用浏览器访问加载完毕后官网会跳出订阅界面,但是网页源代码里面依然能爬出来)。
IP属地:广东
16楼
2022-10-22 10:06
回复
收起回复
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧热议榜
1
C9选手评价这届LPL是真的菜
2118120
2
刺客信条影M站仅有83开分
1940129
3
早八上课时发现逆天事件
1648360
4
吧友吐槽猫眼三姐妹新作难蚌
1350567
5
我的亲生妹妹可能已经废了
1268982
6
龙族动画让日本做会不会更好
1031950
7
继王子和亲又一全新力作
863808
8
《假面骑士ZEZTZ》商标曝光
765256
9
美宇航员终于结束加班成功回家
689986
10
LOL2025愚人节系列皮肤公布
681240
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示