服务器之家

专注于服务器技术!
当前位置:首页 > 脚本编程 > Python

PycURL:libcurl 在 Python 中的实现

  PycURL 是 libcurl 库的一个 Python 接口,在 Python 程序中,可使用它来获取 URL 对象,类似于Python 中的 urllib 模块。PycURL 支持大量特性并且成熟、全面,非常快速。 概述 libcurl 是免费而且易于使用的客户端的 URL 传输库,支持 FTP, FTPS, HTTP, HTTPS,GOPHER, TELNET, DICT, FILE 和 LDAP。libcurl ...

日期:2014-04-12

python中使用pycurl进行网络编程

   今天闲逛的时候看见有人发了这个,curl是一个极为强大的工具是利用URL语法在命令行方式下工作的文件传输工具。    我们看下这个源代码。 os模块和专门为curl配备的pycurl库,and用于文件操作的StringIO。很强大 功能很多,bt5有自带的curl,直接命令行输入curl --help就行。...

日期:2014-04-12

如何使用多线程python扫描二级子域名

   日站没什么好办法了往往也会想到其二级域名,于是写了一个比较简陋的扫描二级域名的程序 速度一般般,不过如果线程开多了还是可以的 源程序(subdomain.py):#! /usr/bin/env python#coding=utf-8import threading , Queue, optparse, osimport pycurl, StringIO, msvcrt, socketqueue = Q...

日期:2014-04-12

试用PycURL网络编程

   在Linux上有个常用的命令curl(非常好用),支持curl的就是大名鼎鼎的libcurl库;libcurl是功能强大的,而且是非常高效的函数库。libcurl除了提供本身的CAPI之外,还有多达40种编程语言的Binding,这里介绍的PycURL就是libcurl的Python binding。在Python中对网页进行GET/POST等请求,当需要考虑高性能的时候,lib...

日期:2014-04-12

基于OPIC优先策略的Python多线程爬虫

  OCIP的字面含义是“在线页面重要性计算”,可以将其看做是一种改进的PageRank算法。在算法开始之前,每个互联网页面都给予相同的“现金”(cash),每当下载了某个页面P后,P将自己拥有的“现金”平均分配给页面中包含的链接页面,把自己的“现金”清空。而对于待抓取URL队列中的网页,则根据其手头拥有的现金金额多少排序...

日期:2014-04-12

Windows配置eclipse+Python+PyDev+tornado和使用pylint静态检测

   在安装 PyDev 之前,要保证您已经安装了 Java 1.4 或更高版本、Eclipse 以及Python(环境变量path里加上;C:Python26)。接下来,开始安装 PyDev 插件。 利用 Eclipse Update Manager 安装 PyDev。在 Eclipse 菜单栏中找到 Help >Software Updates > Find and Install。选择 Search for new features for inst...

日期:2014-04-12

python程序如何使用pycurl实现断点续传下载文件

  我这就抛砖引玉了,大家多指教。 (个人粗略认为)原理: 把服务器上的文件分n“等份”,再在准备下载地址按等分一一填充到文件中。 当 下载 “等份数据”时如果未能正常结束,从头下载次等份数据。正常结束后线程下载下一等分。 好比: 服务器文件(x): 1111111 待填充文件(y)...

日期:2014-04-12

使用pycurl抓取网页实例代码

   #! /usr/bin/env python #coding=utf-8 import pycurl import StringIO for i in range(1, 1679): b = StringIO.StringIO() c = pycurl.Curl() url ="http://www.XXX.com/user_list_view.php?tid=%d" % i c.setopt(pycurl.URL, url) c.set...

日期:2014-04-12

pycurl与urllib2抓取网页的性能测试对比

   #coding: utf-8import pycurlimport StringIOimport urllib2def f(url): c = pycurl.Curl() c.setopt(pycurl.URL, url) b = StringIO.StringIO() c.setopt(pycurl.WRITEFUNCTION, b.write) c.setopt(pycurl.FOLLOWLOCATION, 1) c.setopt(pycurl.MAXREDIRS, 5) c.perform() re...

日期:2014-04-12

pycurl模块抓取网页实例代码

   一直听说,curl很强大,可一直没有涉足,太可惜终于有一天,我的urllib,httplib,在抓取个别网站时,出现了问题于是想试试curl.已经感觉到它的强大了,个别网站已经取得数据了. 在找pycurl的使用方法时,对初次使用者,很困难,于是想写个简单的demo方便想涉足者使用:import pycurlimport StringIO url=’www....

日期:2014-04-12
 324   首页 上一页 3 4 5 6 7 8 9 10 11 12 下一页 尾页

热点推荐