Python3.4抓取爬虫功能 Python3.4编程实现简单抓取爬虫功能示例

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

Python3.4抓取爬虫功能 Python3.4编程实现简单抓取爬虫功能示例

macwhirr123   2021-03-29 我要评论
想了解Python3.4编程实现简单抓取爬虫功能示例的相关内容吗,macwhirr123在本文为您仔细讲解Python3.4抓取爬虫功能的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:Python3.4,抓取,爬虫,下面大家一起来学习吧。

本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考,具体如下:

import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
  cj=http.cookiejar.CookieJar()
  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
  urllib.request.install_opener(opener)
  page = urllib.request.urlopen(url)
  html = page.read()
  return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
  html = html.decode('utf-8')
  reg='"screen_name":"(.*?)"'
  imgre = re.compile(reg)
  src=re.findall(imgre,html)
  return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
  print (getimg(getHtml("http://weibo.com/"+a)))
  time.sleep(1)

希望本文所述对大家Python程序设计有所帮助。

猜您喜欢

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们