快乐每一天

自己选择的路,跪着也要走下去...

标签 文章抓取 下的文章

抓取博客的文章标题和链接(持续更新)

现在可以打开我们需要抓取数据的网址了,由于我是抓取我自己博客的信息,所以直接通过F12 ,浏览器的查看功能,找到需要抓的信息是在哪里

20180405194407564.png

通过观察,可以发现我们需要找的标题是在

<span class="link_title">

下的的

<a>

标签中,因此我们可以通过这个来快速查找 (注意:这种办法在确定唯一性时候可以使用,否则的话,会抓到你不想要的结果)

获取浏览器的Header信息

通过图片介绍的方法复制第4步的User-Agent的信息,为什么要用到User-Agent呢,因为CSDN为了阻止别人恶意采集信息采取了反爬虫的设置

20180405200903148.png

CSDN最近的页面改版了,所以上面的代码已经不适用了。

选择器的路径需要改成下图中圈起来的才行。

20181220225234145.png

另外还需要去除原创或者转载的表示。

通过手动改变链接,让链接的页数超出总博文的页数,对比发现如果是非法输入超过总页数的链接的话,页面底部是没有分页的功能的,所以可以添加一个for循环,通过循环足够多的次数,当没有分页时,就退出整个程序,这样就不至于一直循环。

20181220232328570.png

201812202323514.png


由于是之前写的博客,当时没有学到很多。现在,建议不要使用urllib.request了,强烈推荐使用requests库。

Demo1:直接运行下面代码即可


import urllib.request
from bs4 import BeautifulSoup
#如果没有安装好BeautifulSoup,这里是会报错的

#自定义一个函数拿到博客的链接
def getUrl (url):
    #定义一个headers,存储刚才复制下来的报头,模拟成浏览器
    headers = ('User-Agent',
               "Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:48.0) Gucko/20130101 Firefox/58.0")
    opener = urllib.request.build_opener()
    opener.addheaders = [headers]
    # 将opener安装为全局
    urllib.request.install_opener(opener)
    html = urllib.request.urlopen(url).read().decode('utf-8', 'ignore')
    # print(html)
    bs = BeautifulSoup(html,'lxml')
    # 用beautifulsoup的select,找到所有的<a>标签
    pages = bs.select(".pagination-box")
    if pages:
        # 判断是否包含下一页的选项
        # 用beautifulsoup的select,找到所有的<a>标签
        links = bs.select('.article-list > .article-item-box > h4 > a')
        return links
    else:
        # 结束整个程序
        sys.exit()

import  sys
if __name__ == '__main__':

    # 要爬取的网页链接 ,循环足够多的页数,所以填了1000000
    for i in range(1,1000000):
        url = 'https://blog.csdn.net/stormdony/article/list/{}'.format(i)
    # 获取对应网页的链接地址
        linklist = getUrl(url)
    # 定义一个列表texts存储文章的标题
        texts = []
        # 定义一个列表links存储文章的链接
        links = []
        # 遍历linkllist,存储标题和链接
        for link in linklist:
            texts.append(link.text.strip())
            links.append(link.get('href'))
        #    通过zip,将信息输出到控制台
        for text, link in zip(texts, links):
            text = text.strip().replace("原        \n        ", "")
            text = text.strip().replace("转        \n        ", "")
            data = {'tittle': text, 'link': link}
            print(data)

Demo2:
=========== 再再此更新于2018/12/21 ========

更新功能:可以分类爬取原创和转载两类文章;

20181221181325716.png

import requests
from bs4 import BeautifulSoup

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
}

def getOriginalArticle(username):
    '''获取原创文章'''
    for i in range(1,1000000):
        url = 'https://blog.csdn.net/{}/article/list/{}?t=1'.format(username,i)
        web_data = requests.get(url, headers=header)
        soup = BeautifulSoup(web_data.content, 'lxml')
        pages = soup.select(".pagination-box")
        links = soup.select('.article-list > .article-item-box > h4 > a')[1:]
        readnum = soup.select('.read-num')
        if pages:
            # 判断是否包含下一页的选项
            # 用beautifulsoup的select,找到所有的<a>标签
            printOriginalData(links,readnum,'原        \n        ')
        else:
            # 结束循环
            break

def getTranshipmentArticle(username):
    '''获取转载文章'''
    for i in range(1,1000000):
        url = 'https://blog.csdn.net/{}/article/list/{}?t=2'.format(username,i)
        web_data = requests.get(url,headers=header)
        soup = BeautifulSoup(web_data.content, 'lxml')
        pages = soup.select(".pagination-box")
        links = soup.select('.article-list > .article-item-box > h4 > a')[1:]
        readnum = soup.select('.read-num')
        if pages:
            printTranshipmentData(links,readnum,'转        \n        ')
        else:
            # 这里可能会有问题,因为我的转载文章还不够分页的数量,所以需要添加多一条printTranshipmentData()
            printTranshipmentData(links, readnum, '转        \n        ')
            # 结束循环
            break


def printTranshipmentData(links,readnum,stripText):
    for link in links:
        url = link.get('href')
        title = link.text.strip().replace(stripText, "")
        read = readnum[0].text.strip("阅读数:")
        comment = readnum[1].text.strip("评论数:")
        data = {
            'url': url,
            'title': title,
            'readnum': read,
            'comment': comment
        }
        print(data)


def printOriginalData(links,readnum,stripText):
    for link in links:
        url = link.get('href')
        title = link.text.strip().replace(stripText, "")
        read = readnum[0].text.strip("阅读数:")
        comment = readnum[1].text.strip("评论数:")
        data = {
            'url': url,
            'title': title,
            'readnum': read,
            'comment': comment
        }
        print(data)

if __name__ == '__main__':
    username = "stormdony"
    getTranshipmentArticle(username)
    print('------------------以下是原创文章--------------')
    getOriginalArticle(username)

上面的程序,还有一个问题没有解决: 那就是分页的问题。
因为我的转载文章刚好只够一页,还不够分页的数量,所以需要添加多一条printTranshipmentData()语句。

转载:https://blog.csdn.net/stormdony/article/details/79828842

阅读全文