如何快速爬取B站全站视频信息【黑马python培训】

更新时间:2019年07月26日 10时49分32秒 来源:黑马程序员论坛

B 站我想大家都熟悉吧，其实 B 站的爬虫网上一搜一大堆。不过 纸上得来终觉浅，绝知此事要躬行，我码故我在。最终爬取到数据总量为 760万 条。 准备工作 首先打开 B 站，随便在首页找一个视频点击进去。常规操作，打开开发者工具。这次是目标是通过爬取 B 站提供的 api 来获取视频信息，不去解析网页，解析网页的速度太慢了而且容易被封 ip。 勾选 JS 选项，F5 刷新 找到了 api 的地址 复制下来，去除没必要的内容，得到 https://www.idiancai.com/x/web-interface/archive/stat?aid=15906633 ，用浏览器打开，会得到如下的 json 数据 动手写码 好了，到这里代码就可以码起来了，通过 request 不断的迭代获取数据，为了让爬虫更高效，可以利用多线程。 核心代码result = []req = requests.get(url, headers=headers, timeout=6).json()time.sleep(0.6)     # 延迟，避免太快 ip 被封try:    data = req['data']    video = Video(        data['aid'],        # 视频编号        data['view'],       # 播放量        data['danmaku'],    # 弹幕数        data['reply'],      # 评论数        data['favorite'],   # 收藏数        data['coin'],       # 硬币数        data['share']       # 分享数    )    with lock:        result.append(video)except:    pass 迭代爬取urls = ["http://www.smpeizi.com/archive_stat/stat?aid={}".format(i)     for i in range(10000)] with futures.ThreadPoolExecutor(32) as executor:    # 多线程     executor.map(run, urls) 不要一次性爬取全部链接，我是利用两个进程，这样就是多进程+多线程了。一个进程一次大概爬取 50w 条数据。100w 条数据的话大概一个多小时吧。分多次爬取，分别将数据保存为不同的文件名，最后再汇总。 运行的效果大概是这样的，数字是已经已经爬取了多少条链接，其实完全可以在一天或者两天内就把全站信息爬完的。 至于爬取后要怎么处理就看自己爱好了，我是先保存为 csv 文件，然后再汇总插入到数据库。 汇总的 csv 文件 数据库表 由于这些内容是我在几个月前爬取的，所以数据其实有些滞后了。 数据总量 各种花样查询任君选择！！视频的链接为 https://www.pzzs168.com/video/av + v_aid 详细代码请移步至 https://www.aiidol.com/ 对数据感兴趣的话可以邮箱联系我，可以打包赠与。

推荐了解热门学科

传智播客是一家致力于培养高素质软件开发人才的科技公司，“黑马程序员”是传智播客旗下高端IT教育品牌。自“黑马程序员”成立以来，教学研发团队一直致力于打造精品课程资源，不断在产、学、研3个层面创新自己的执教理念与教学方针，并集中“黑马程序员”的优势力量，针对性地出版了计算机系列教材50多册，制作教学视频数+套，发表各类技术文章数百篇。

传智播客从未停止思考

传智播客副总裁毕向东在2019IT培训行业变革大会提到，“传智播客意识到企业的用人需求已经从初级程序员升级到中高级程序员，具备多领域、多行业项目经验的人才成为企业用人的首选。”

中级程序员和初级程序员的差别在哪里?
项目经验。毕向东表示，“中级程序员和初级程序员最大的差别在于中级程序员比初级程序员多了三四年的工作经验，从而多出了更多的项目经验。“为此，传智播客研究院引进曾在知名IT企业如阿里、IBM就职的高级技术专家，集中研发面向中高级程序员的课程，用以满足企业用人需求，尽快补全IT行业所需的人才缺口。

何为中高级程序员课程?

传智播客进行了定义。中高级程序员课程，是在当前主流的初级程序员课程的基础上，增加多领域多行业的含金量项目，从技术的广度和深度上进行拓展。“我们希望用5年的时间，打造上百个高含金量的项目，覆盖主流的32个行业。”传智播客课程研发总监于洋表示。




黑马程序员热门视频教程【点击播放】