请选择 进入手机版 | 继续访问电脑版
点击联系客服
客服QQ:509006671 客服微信:mengfeiseo
查看: 76|回复: 50

14行代码带你爬网络小说

[复制链接]

1

主题

1

帖子

-7

积分

限制会员

积分
-7
发表于 2021-4-8 09:39:39 | 显示全部楼层 |阅读模式
Newspaper库

该项目基于newspaper库,这是一个可用于提取新闻、文章和内容分析的库,在文章抓取领域提供了非常强大的功能

安装python  3:

Pip3 install  newspaper3k

首先,您可以打开《平凡的世界》网站3358 www.pingfandeshijie.net/查看以下内容





按照爬行动物的步骤分析网页,获得每一章的链接。因为这个网站链接是有规律的。例如,第一章链接为3358 www  . pingfandeshijie  . net/di-yi-bu-01 . html。下一章链接只需要更改章节编号。

程序主要由两个函数组成。一个是生成链接,另一个是获取文本并将其写入txt。程序如下图所示





这个程序只能爬前10章的内容,运行程序时,文本文件如下。





喜欢从上面爬上成功平凡的世界的这部小说、小说的朋友,再也不需要在网页上读小说或在世界各地寻找资源了。通过这个例程,你可以挖掘出自己想看的小说
回复

使用道具 举报

4

主题

200

帖子

28

积分

新手上路

Rank: 1

积分
28
发表于 2021-4-8 12:46:07 | 显示全部楼层
支持一下
回复

使用道具 举报

1

主题

203

帖子

58

积分

注册会员

Rank: 2

积分
58
发表于 2021-4-8 13:06:10 | 显示全部楼层
找到好贴不容易,我顶你了,谢了
回复

使用道具 举报

1

主题

171

帖子

27

积分

新手上路

Rank: 1

积分
27
发表于 2021-4-8 13:26:57 | 显示全部楼层
前排支持下
回复

使用道具 举报

0

主题

181

帖子

42

积分

新手上路

Rank: 1

积分
42
发表于 2021-4-8 13:47:16 | 显示全部楼层
支持一下
回复

使用道具 举报

1

主题

209

帖子

37

积分

新手上路

Rank: 1

积分
37
发表于 2021-4-8 14:07:22 | 显示全部楼层
支持一下
回复

使用道具 举报

1

主题

174

帖子

42

积分

新手上路

Rank: 1

积分
42
发表于 2021-4-8 14:27:41 | 显示全部楼层
小手一抖,积分到手!
回复

使用道具 举报

0

主题

180

帖子

29

积分

新手上路

Rank: 1

积分
29
发表于 2021-4-8 14:47:56 | 显示全部楼层
学习了,不错,讲的太有道理了
回复

使用道具 举报

1

主题

205

帖子

50

积分

注册会员

Rank: 2

积分
50
发表于 2021-4-8 15:08:02 | 显示全部楼层
没看完~~~~~~ 先顶,好同志
回复

使用道具 举报

1

主题

195

帖子

18

积分

新手上路

Rank: 1

积分
18
发表于 2021-4-8 15:28:05 | 显示全部楼层
我抢、我抢、我抢沙发~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|无图版|手机版|小黑屋|汕头@IT精英团

Powered by Discuz! X3.4 © 2021 Comsenz Inc.

GMT+8, 2021-4-24 02:20 , Processed in 0.079888 second(s), 19 queries .

快速回复 返回顶部 返回列表