spider_object_01使用正则爬取百度贴吧所有内容保存成html

"""
本案例不涉及数据提取，
仅指导   网页分页爬取的两种方式  思路
非
第一种：利用while Ture，传参，然后在设定一个判断条件，案例中用的是如果找不到下一页，循环退出(可用于异步刷新网站)
第二种：利用while Ture不断循环， 获取下一页url，获取不到，循环退出。 优化了异常处理。当输入的贴吧名称有误时，程序重新运行
"""
import requests
from fake_useragent import FakeUserAgent
import time
import random
import re

# 第一种，定义一个url
def f1():
    num = 1
    kw=input("请输入贴吧名称>>")
    pn=0
    # 获取网页
    # 定义一个url
    # 不断运行代码
    while True:
        base_url ="http://tieba.baidu.com/f?kw={}&ie=utf-8&pn={}"
        userAgent = FakeUserAgent().random
        headers = {"User-Agent":userAgent}
        htmlStr = requests.get(url=base_url.format(kw,pn),headers=headers).text

        """
        对网页进行处理，不影响提取内容，
        只影响页面显示，在这里主要是想把replace
        这个函数练习一下(替换内容，用来处理字符串)
        支持链式规则
        """
        htmlStr=htmlStr.replace('-->','').replace('-->','')
        # print(htmlStr)
        # 进行保存
        with open(r'./baidutieba/百度贴吧第%s页.html'%num,'w',encoding='utf-8') as f:
            f.write(htmlStr)
        print('主人，运行状态良好，正在保存第%s页'%num)
        if htmlStr.find('class="next pagination-item " >') == -1:
            break

        # 设置延迟时间
        time.sleep(1.5)

        #运行一次，url的参数改变一次
        num+=1
        pn+=50

# 第二种
def f2():
    num = 1
    kw = input(">>请输入贴吧名称：")
    # 定义一个初始url
    url = 'http://tieba.baidu.com/f?kw={}&ie=utf-8&pn=0'.format(kw)
    # 随机user-agent
    while True:
        userAgent = FakeUserAgent().random
        headers = {"User-Agent": userAgent}
        # 获取到html网页（字符串）
        htmlStr = requests.get(url, headers=headers).text

    # 保存
        with open(r'./baidutieba/百度贴吧第%s页.html' % num, 'w', encoding='utf-8') as f:
            f.write(htmlStr)
        print("正在保存第%s页"%num)
        try:
            # 获取到下一页的url
            result = re.findall(r'<a href="(.*?)" class="next pagination-item " >', htmlStr)
            print(result[0])
            print(type(result[0]))
            if result:
                url = 'http:'+ result[0]
            else:
                break
            # 设置延时时间
            time.sleep(1.5)
            num += 1
        except Exception as e:
            print(e,"输入贴吧名称有误")
            f2()

if __name__ == '__main__':
    # f1()
    f2()

spider_object_01使用正则爬取百度贴吧所有内容保存成html的更多相关文章

requests+xpath+map爬取百度贴吧
# requests+xpath+map爬取百度贴吧 # 目标内容:跟帖用户名,跟帖内容,跟帖时间 # 分解: # requests获取网页 # xpath提取内容 # map实现多线程爬虫 impo ...
Python爬虫爬取百度贴吧的帖子
同样是参考网上教程,编写爬取贴吧帖子的内容,同时把爬取的帖子保存到本地文档: #!/usr/bin/python#_*_coding:utf-8_*_import urllibimport urlli ...
利用python的爬虫技术爬取百度贴吧的帖子
在爬取糗事百科的段子后,我又在知乎上找了一个爬取百度贴吧帖子的实例,为了巩固提升已掌握的爬虫知识,于是我打算自己也做一个. 实现目标:1,爬取楼主所发的帖子 2,显示所爬去的楼层以及帖子题目 3,将爬 ...
Python3实现QQ机器人自动爬取百度文库的搜索结果并发送给好友（主要是爬虫）
一.效果如下: 二.运行环境: win10系统:python3:PyCharm 三.QQ机器人用的是qqbot模块用pip安装命令是: pip install qqbot (前提需要有request ...
第三百三十四节，web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息
第三百三十四节,web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻,爬取Ajax动态生成的信息 crapy爬取百度新闻,爬取Ajax动态生成的信息,抓取百度新闻首页的新闻rul地址有多 ...
十三 web爬虫讲解2—Scrapy框架爬虫—Scrapy爬取百度新闻，爬取Ajax动态生成的信息
crapy爬取百度新闻,爬取Ajax动态生成的信息,抓取百度新闻首页的新闻rul地址有多网站,当你浏览器访问时看到的信息,在html源文件里却找不到,由得信息还是滚动条滚动到对应的位置后才显示信息, ...
Python爬虫实战二之爬取百度贴吧帖子
大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 前言亲爱的们,教程比较旧了,百度贴吧页面可能改版,可能代码不 ...
百度图片爬虫-python版-如何爬取百度图片?
上一篇我写了如何爬取百度网盘的爬虫,在这里还是重温一下,把链接附上: http://www.cnblogs.com/huangxie/p/5473273.html 这一篇我想写写如何爬取百度图片的爬虫 ...
Python开发简单爬虫（二）---爬取百度百科页面数据
一.开发爬虫的步骤 1.确定目标抓取策略: 打开目标页面,通过右键审查元素确定网页的url格式.数据格式.和网页编码形式. ①先看url的格式, F12观察一下链接的形式;② 再看目标文本信息的标签格 ...
requests+正则爬取豆瓣图书
#requests+正则爬取豆瓣图书 import requests import re def get_html(url): headers = {'User-Agent':'Mozilla/5.0 ...

随机推荐

用keil调试程序的时候，一点击调试就弹出STARTUP.A51那个窗口，解决办法
前天晚上我折腾了很久网上查了各种方法.最终自己发现,调试之前一定要在keil编译一遍,再debug这样就不会弹窗了. 另外,keil在调试过程中,修改代码是不会有任何作用的,你看我故意写错,继续单步 ...
人眼对led灯的闪烁识别度：写单片机的时候，小于15ms，我们人眼视为常亮
人眼对于每11毫秒闪烁一次约83赫兹基本感觉不到,每15毫秒闪烁一次约66赫兹轻微频闪. 所以写单片机的时候,小于15ms,我们人眼视为常亮
Power shell 读取电量，改变屏幕亮度
1. Get-Wmiobject -List win32* # 列出所有win32_信息(基本的BIOS,Battery , Memory, processor) 2.Get-WmiObject ...
Java基础学习：11、断点调试
1.可以用来查看错误以及查看代码的运行过程. 2.如何使用:
Python170道面试题
1. 谈谈对 Python 和其他语言的区别答:Python 是一门语法简洁优美,功能强大无比,应用领域非常广泛,具有强大完备的第三方库,他是一门强类型的可移植.可扩展,可嵌入的解释型编程语言,属于 ...
flutter SafeArea和SliverSafeArea，适应特殊屏幕
现如今的手机已经不能提供给应用程序规整的矩形界面了,一些带圆角或者是刘海屏让应用程序的布局更加复杂,甚至是需要单独适配,这对开发者来来太糟糕了. 因此SafeArea控件应用而生,SafeArea通过 ...
Nginx结合tomcat 负载均衡
负载均衡是我们大流量网站要做的一个东西,下面我来给大家介绍在Nginx服务器上进行负载均衡配置方法,希望对有需要的同学有所帮助哦. 负载均衡先来简单了解一下什么是负载均衡,单从字面上的意思来理解就可 ...
AcWing 841. 字符串哈希 2022/5/25
include include using namespace std; typedef unsigned long long ULL; char str[N]; //存放字符串 int h[N], ...
2023-03-02 记录一下关于chatGPT使用方法
国内版: 在线免费web版: https://chat.forchange.cn/(不用登录) https://app.writesonic.com/login(要登录) 在线免费微信版:AI对话未来 ...
acl规则问题
在acl规则中网络地址与广播地址包含在规则范围内

spider_object_01使用正则爬取百度贴吧所有内容保存成html

spider_object_01使用正则爬取百度贴吧所有内容保存成html的更多相关文章

随机推荐

热门专题