[Python知识库]学习爬虫第四天

#1.定位到网址
#2提取链接地址
#3.请求链接地址，拿到下载地址
import re
import requests
url="https://www.dytt89.com/"
resp=requests.get(url)#去掉安全验证
resp.encoding='gb2312'#注意字符集
#print(resp.text)
obj1=re.compile(r"2022必看热片.*?<ul>(?P<name>.*?)</ul>",re.S)
obj2=re.compile(r"<a href='(?P<href>.*?)'",re.S)
obj3=re.compile(r'<br />◎片　　名(?P<movie_name>.*?)<br />.*?<td '
                r'style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<download>.*?)">',re.S)
childurl_list=[]
res=obj1.finditer(resp.text)
for it in res:
    a = it.group('name')
    print(a)
    #提取子链接地址
    #html a标签<a href='网址‘>内容</a>
    res2=obj2.finditer(a)
    for it1 in res2:
        #拼接子页面的url地址：  域名+子页面地址
        #print(it1.group('href'))
        childurl=url+it1.group('href').strip("/")
        childurl_list.append(childurl)
#提取信息
for href in childurl_list:
    resp2=requests.get(href)
    resp2.encoding='gb2312'
    res3=obj3.search(resp2.text)
    print(res3.group("movie_name"))
    print(res3.group("download"))