python构建简单代理池

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

python构建简单代理池

阿南-anan     2022-05-23 我要评论

以下为简单示例:

import requests
import re
import telnetlib

url='http://www.66ip.cn/nmtq.php?getnum=100000&isp=0&anonymoustype=4&start=&ports=&export=&ipaddress=&area=2&proxytype=0&api=66ip'
header = {'User-agent':'xxxxxxxxxxx','Connection':'close'}
page_text = requests.get(url=url,headers=header).text
#用于匹配ip:port的正则表达式
p = r'(?:((?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5])\.(?:\d|[1-9]\d|1\d{2}|2[0-5][0-5]))\D+?(6[0-5]{2}[0-3][0-5]|[1-5]\d{4}|[1-9]\d{1,3}|[0-9]))'
#匹配出所有的ip与端口,放入列表
iplist = re.findall(p,page_text)
# 判断爬取的代理ip是否可用
for i in iplist:
    ip = i[0]+':'+i[1]+'\n'
    try:
        # 使用代理ip访问指定网站,能访问说明代理可用
        # requests.get('http://www.baidu.com', proxies={"http": ip})
        # 使用telnet测试代理是否可用
        telnetlib.Telnet(i[0], port=i[1], timeout=3)
    except:
        print('connect failed')
    else:
        print(ip)
        with open('ip.txt', 'a+', encoding='utf-8') as fp:
            fp.write(ip)

 到此这篇关于python构建简单可以代理池的文章就介绍到这了,更多相关python构建简单代理池内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们