python实现csdn全部博文下载并转PDF
更新时间：2021年06月15日 10:25:15 作者：武亮宇
我们学习编程，在学习的时候，会有想把有用的知识点保存下来，我们可以把知识点的内容爬下来转变成pdf格式，方便我们拿手机可以闲时翻看，是很方便的，本文就介绍一下如何实现
我们学习编程，在学习的时候，会有想把有用的知识点保存下来，我们可以把知识点的内容爬下来转变成pdf格式，方便我们拿手机可以闲时翻看，是很方便的
先来一个单个的博文下载转pdf格式的操作
python中将html转化为pdf的常用工具是Wkhtmltopdf工具包，在python环境下，pdfkit是这个工具包的封装类。如何使用pdfkit以及如何配置呢？分如下几个步骤。
下载wkhtmltopdf安装包，并且安装到电脑上。
下载地址：https://wkhtmltopdf.org/downloads.html
我下的是这个版本，安装的时候要记住路径，之后调用要用到路径
开发工具
- python
- pycharm
- pdfkit （pip install pdfkit）
- lxml
今天目标：博主的全部博文下载，并且转pdf格式保存
基本思路：
1、url + headers
2、分析网页： CSDN网页是静态网页， 请求获取网页源代码
3、lxml解析获取boke_urls, author_name
4、循环遍历，得到 boke_url
5、xpath解析获取文件名
6、css选择器获取标签文本的主体
7、构造拼接html文件
8、保存html文件
9、文件的转换
分析网页： CSDN网页是静态网页， 请求获取网页源代码
start_url =“https://i1bit.blog.csdn.net/” 为例
确定网址为同步加载
css选择器获取标签文本的主体为代码要点部分
css语法部分
# css选择器获取标签文本的主体
html_css = parsel.Selector(response_2)
html_content = html_css.css('article').get()
# 构造拼接html文件
html = \
'''
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
{}
</body>
</html>
'''.format(html_content)
点开博主的一篇博文打开开发者工具
# css选择器获取标签文本的主体
html_css = parsel.Selector(response_2)
html_content = html_css.css('article').get()
# 构造拼接html文件
html = \
'''
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
{}
</body>
</html>
'''.format(html_content)
文件的转换
config = pdfkit.configuration(wkhtmltopdf=r'这里为下载wkhtmltopdf.exe的路径')
pdfkit.from_file(
第一个参数要转变的html文件,
第二个参数转变后的pdf文件,
configuration=config
)
# 上面这样写清楚一点，也可以直接
pdfkit.from_file(
第一个参数要转变的html文件,
第二个参数转变后的pdf文件,
configuration=pdfkit.configuration(wkhtmltopdf=r'这里为下载wkhtmltopdf.exe的路径')
)
源码展示：
import parsel, os, pdfkit
from lxml import etree
from requests_html import HTMLSession
session = HTMLSession()
def main():
# 1、url + headers
start_url = input(r'请输入csdn博主的地址：')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'
}
# 2、分析网页： CSDN网页是静态网页， 请求获取网页源代码
response_1 = session.get(start_url, headers=headers).text
# 3、解析获取boke_urls, author_name
html_xpath_1 = etree.HTML(response_1)
author_name = html_xpath_1.xpath(r'//*[@id="floor-user-profile_485"]/div/div[1]/div[2]/div[2]/div[1]/div[1]/text()')[0]
boke_urls = html_xpath_1.xpath(r'//article[@class="blog-list-box"]/a/@href')
# 4、循环遍历，得到 boke_url
for boke_url in boke_urls:
# 5、请求
response_2 = session.get(boke_url, headers=headers).text
# 6、xpath解析获取文件名
html_xpath_2 = etree.HTML(response_2)
file_name = html_xpath_2.xpath(r'//h1[@id="articleContentId"]/text()')[0]
# 7、css选择器获取标签文本的主体
html_css = parsel.Selector(response_2)
html_content = html_css.css('article').get()
# 8、构造拼接html文件
html = \
'''
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
{}
</body>
</html>
'''.format(html_content)
# 9、创建两个文件夹， 一个用来保存html 一个用来保存pdf文件
if not os.path.exists(r'{}-html'.format(author_name)):
os.mkdir(r'{}-html'.format(author_name))
if not os.path.exists(r'{}-pdf'.format(author_name)):
os.mkdir(r'{}-pdf'.format(author_name))
# 10、保存html文件
try:
with open(r'{}-html/{}.html'.format(author_name, file_name), 'w', encoding='utf-8') as f:
f.write(html)
except Exception as e:
print('文件名错误')
# 11、文件的转换
try:
config = pdfkit.configuration(wkhtmltopdf=r'C:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe')
pdfkit.from_file(
'{}-html/{}.html'.format(author_name, file_name),
'{}-pdf/{}.pdf'.format(author_name, file_name),
configuration=config
)
a = print(r'--文件下载成功：{}.pdf'.format(file_name))
except Exception as e:
continue
if __name__ == '__main__':
main()
代码操作：
到此这篇关于python实现csdn全部博文下载并转PDF的文章就介绍到这了,更多相关python 博文下载并转PDF内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
python实现提取str字符串/json中多级目录下的某个值
今天小编就为大家分享一篇python实现提取str字符串/json中多级目录下的某个值，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
今天小编就为大家分享一篇python判断自身是否正在运行的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要为大家详细介绍了python实现KNN分类算法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-10-10
Selenium 是一个用于 Web 应用自动化测试的强大工具,可以用来模拟用户操作浏览器,从而测试 Web 应用的功能,它支持多种浏览器和编程语言,包括 Python,下面我们将介绍如何使用 Selenium 进行 Web 自动化测试,需要的朋友可以参考下2024-08-08
学习Python时，它总能让人深刻体会到这款语言的魅力。今天小编为大家带来一个有趣的项目，用Python处理文本数据，一起来看看今天的问题吧2022-06-06
这篇文章主要介绍了如何利用Python实现简单C++程序范围分析,文章以举例说明及过程实现思路的方式展开讲解，具有一定的的参考价值，需要的小伙伴可以参考一下，希望对你有所帮助2022-02-02
这篇文章主要介绍了Python修改列表值问题解决,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
本文主要介绍了python 边缘扩充方式的实现示例，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-03-03
今天小编就为大家分享一篇解决TensorFlow训练内存不断增长,进程被杀死问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
本文将介绍如何使用python3给企业微信发送消息，文中有详细的图文解说及代码示例,对正在学习python的小伙伴很有帮助,需要的朋友可以参考下2021-12-12
最新评论