首页 > 编程知识 文章详情

Python采集网站数据内容, 并把详情信息保存PDF

编程知识 更新时间:2023-05-01 21:43:01

本次内容:

Python采集网站数据内容, 并把详情信息保存PDF

本次使用开发环境:

  • Python 3.8
  • Pycharm 2021.2专业版
  • 保存PDF 需要 wkhtmltopdf 安装包
    以上环境都可以点击领取

模块使用:

需安装模块

  • requests 数据请求模块
    安装方法：pip install requests
  • parsel 数据解析模块 pip install parsel
  • pdfkit PDF模块 pip install pdfkit

内置模块（不许安装）

  • re 正则表达式 内置模块
  • json 字符串转Json数据 内置模块
  • csv 保存csv模块 内置模块
  • time 时间模块 内置模块

如何安装模块

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
  2. 在pycharm中点击Terminal(终端) 输入安装命令

本节课的案例思路(爬虫最基本思路流程):

一. 数据来源分析

  1. 确定我们想要数据内容是什么? 音乐
  2. 通过开发者工具进行抓包分析, 分析数据来源 >>> 音乐播放地址是从哪里的

二. 代码实现步骤 爬虫四部曲: 发送请求 >>> 获取数据 >>> 解析数据 >>> 保存数据

  1. 发送请求, 对于什么url发送什么请求, 携带headers伪装
    网址
    发送请求get请求
  2. 获取数据, 获取服务器返回响应数据
  3. 解析数据, 提取我们想要数据内容 职位相关信息数据
  4. 保存数据, 保存文本/数据库/表格… csv表格数据
  5. 多页数据采集

代码展示

相对应的安装包/安装教程/激活码/使用教程/学习资料/工具插件 可以点击免费领取

首先导入模块

import requests
import parsel  # 数据解析模块 pip install parsel
import pdfkit  # pip install pdfkit
# 导入正则表达式模块
import re  # 内置模块
# 导入json
import json  # 内置模块
# 导入格式化输出模块
import pprint  # 内置模块
# 导入csv模块
import csv  # 内置模块
# 导入时间模块
import time

1. 发送请求

def get_job_content(title, html_url):
    # url = '详情页网址自己复制一下哦~'  # 招聘详情页
    html_str = """
    <!doctype html>
    <html lang="en">
    <head>
        <meta charset="UTF-8">
        <title>Document</title>
    </head>
    <body>
    {article}
    </body>
    </html>
    """
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36',
    }
    response = requests.get(url=html_url, headers=headers, proxies=[])
    response.encoding = 'gbk'

2. 获取数据

    # print(response.text)

3. 解析数据 css选择器 根据标签属性提取数据内容

    selectors = parsel.Selector(response.text)  # 把获取到html字符串数据转成selector对象
    content = selectors.css('body > div.tCompanyPage > div.tCompany_center.clearfix > div.tCompany_main').get()
    print(content)
    html_data = html_str.format(article=content)
    # '1.html' 公司名字 + 职位名字 命名
    html_path = 'html\\' + title + '.html'
    pdf_path = 'pdf\\' + title + '.pdf'
    with open(html_path, mode='w', encoding='utf-8') as f:
        f.write(html_data)

    config = pdfkit.configuration(wkhtmltopdf=r'C:\01-Software-installation\wkhtmltopdf\bin\wkhtmltopdf.exe')
    pdfkit.from_file(html_path, pdf_path, configuration=config)



# mode模式保存方式/读取方式 a追加写入 不会覆盖  w 写入 会覆盖
f = open('招聘_1.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '标题',
    '公司名字',
    '薪资',
    '城市',
    '学历',
    '经验',
    '公司类型',
    '公司属性',
    '公司规模',
    '福利待遇',
    '发布日期',
    '详情页',
])
csv_writer.writeheader()  # 写入表头

for page in range(1, 11):

1. 发送请求 f’{page}’ 字符串格式化方法 format()

    print(f'===============================正在采集第{page}页的数据内容===============================')
    time.sleep(2)
    url = f'详情页网址，自己复制一下哦~'
    # headers 字典数据类型 键值对形式
    # 快速批量替换, 选择需要替换内容 ctrl + R 输入 正则语法
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36',
    }

    # 通过request模块里面get方法对于 url地址发送请求, 并且携带上headers请求头, 最后用response自定义变量接收返回数据内容
    response = requests.get(url=url, headers=headers)

2. 获取数据, 获取服务器返回响应数据

    # print(response.text)

3. 解析数据

    # 从response.text里面去找寻window.__SEARCH_RESULT__ = (.*?)</script>  从window.__SEARCH_RESULT__ =开始 </script>这里结束中间的
    html_data = re.findall('window.__SEARCH_RESULT__ = (.*?)</script>', response.text)[0]  # findall() 从哪里找什么数据
    # print(html_data)
    # type() 可以查看数据类型
    # print(type(html_data))
    # 如果它是一个字典的话, 对于取值的是会非常方便, 字符串转字典数据
    json_data = json.loads(html_data)  # 转成字典数据类型
    # 字典取值 通过键值对取值, 通过冒号左边[键]的内容, 提取冒号右边[值]的内容
    # pprint.pprint(json_data['engine_jds'])  格式化输出 让字典数据 有一个展开的输出效果  print()打印是在一行
    # lis = [1,2,3,4,5,6,7,9]  for i in lis: (for循环遍历) 把列表里面元素一个一个提取出来
    for index in json_data['engine_jds']:
        dit = {
            '标题': index['job_name'],
            '公司名字': index['company_name'],
            '薪资': index['providesalary_text'],
            '城市': index['workarea_text'],
            '学历': index['attribute_text'][2],
            '经验': index['attribute_text'][1],
            '公司类型': index['companytype_text'],
            '公司属性': index['companyind_text'],
            '公司规模': index['companysize_text'],
            '福利待遇': index['jobwelf'],
            '发布日期': index['updatedate'],
            '详情页': index['job_href'],
        }
        title = index['job_name'] + index['company_name']
        title = re.sub(r'[/\:?*"<>|]', '', title)
        get_job_content(title, index['job_href'])
        csv_writer.writerow(dit)
        print(dit)

一些小知识点

无论是 css xpath 还是 re 正则表达式 提取数据返回是[]空列表

  1. 语法不对
  2. 服务器时候返回数据(是否被反爬)
  3. 是否找对数据来源

xpath-help (匹配是元素面板)

爬虫是看服务器返回数据

python应用领域

  1. 爬虫程序
  2. 数据分析 >>> 数据分析 powerbi
  3. 网站开发 >>> 开发一个网站
  4. 游戏开发 >>> pygame
  5. 游戏辅助 >>> 模拟点击 图像识别 模拟点击
  6. 人工智能 >>> 目前算法 都是调用别人写好API接口
  7. 图像处理 >>> 根据照片定位 手机拍照打开定位了 然后发给别人了, 可以通过这张照片定位
  8. 自动化脚本
  9. 自动化测试 / 运维
  10. GUI桌面应用开发 开发软件 tk pyqt

更多推荐

Python采集网站数据内容, 并把详情信息保存PDF

本文发布于:2023-04-24 03:32:00，感谢您对本站的认可！
本文链接:https://www.elefans.com/category/jswz/f5ab30305e81241c2328bbce6135ed93.html
版权声明:本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。
本文标签：并把   详情   内容   数据   网站

相关文章

发布评论

评论列表 （有 0 条评论）

最近发表

草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍！

  • 99617文章数
  • 25944阅读数
  • 0评论数

热门文章

标签列表