Python7_服务器之家

服务器之家

专注于服务器技术!
当前位置:首页 > 脚本编程 > Python

PycURL模块中的CurlShare对象使用总结

  CurlShare 对象拥有下面的方法: setopt(option, value) -> None 相对于 libcurl 中的curl_share_setopt ,option 是那些在 libcurl 中那些使用 CURLSHOPT_*前缀指定的常数,除了由 CURLSHOPT_ 前缀改为 SH_ 前缀的那些。当前, value 必须是LOCK_DATA_COOKIE 或者 LOCK_DATA_DNS 。 用...

日期:2014-04-12

使用 Pycurl 抓取网络页面

  这两天在使用web service的时候,看到有将其用PHP进行的封装,作为参考,自己实现了个Python的封装,效果还不错,嘿嘿。看到前人用PHP封装使用了libcurl库(php自带了),上网搜索一番找到了libcurl的Python实现,阅读了下官方文档,发现Pycurl还是挺不错的,网上也是一片叫好声,以后再使用urllib,urlib2和httplib的时...

日期:2014-04-12

在python urllib2模块中如何使用socks代理抓取网页

   python2.5中的urllib2支持http代理,不支持socks代理。假如代码库或者编码时使用了urllib2,同时又要使用socks,就需要第三方的库来实现。幸运的是,已经有人造好了轮子。 SocksiPy是一个socks module。它提供了一个类socket的接口,支持socks4、socks5和httpproxy。下载后在代码中引用socks.py即可,也可以写个...

日期:2014-04-12

PycURL如何获取响应信息

  通过 pycurl.Curl 对象的 getinfo 函数,可以获取到响应的如下信息: (参考: http://curl.haxx.se/libcurl/c/curl_easy_getinfo.html ) pycurl.NAMELOOKUP_TIME 域名解析时间pycurl.CONNECT_TIME 远程服务器连接时间pycurl.PRETRANSFER_TIME 连接上...

日期:2014-04-06

使用pycurl模拟登录人人网并抓取好友列表

   在人人网上看到有人写到利用R语言实现的好友网络数据挖掘,感觉很有意思。自己之前也学过数据挖掘的课程,觉得数据挖掘可以得到很多有趣的信息。但是,当时是选修课程,没有好好学习。刚好,看到这里有别人实现的范例。就拿来自己实现一下,看一看自己的好友网络,在force-directed网络下是如何聚合的。 首先,第一...

日期:2014-04-06

使用pycurl模拟web提交

   之前使用python提交数据到服务器时都是采用自带的urllib库。前一段时间登录某Cas系统时,总是莫名的失败。失败的原因好像是cookie的问题,各个页面需要共享cookie。尝试了多个给urllib设置cookie的方法,还是没能成功。 后来,试了pycurl,竟然成功了,那就使用pycurl吧。(很抱歉,我没能追查出为什么采用urllib2...

日期:2014-04-06

python pycurl网络编程详细讲解

   关于python网络编程,使用urllib与服务器通信时,客户端的数据是添加到Head里面通过URL,发送到服务器端,urllib包实现客户端上传文件时,会出现死掉的状态(实际上是超时设置问题)。 Pycurl包是一个libcurl的Python接口,它是由C语言编写的。与urllib相比,它的速度要快很多。 Libcurl 是一个支持FTP, FTP...

日期:2014-04-06

python pycurl模块的使用实例代码

  在使用urllib的时候经常会死掉,以前debug过,是没有设置 timing out 所以超时后就会死掉。PycURL是curl的python库,虽然有些curl的功能没有实现,但是还是很强劲的。 curl是非常强劲的一个工具,google内部用它来 debug GDATA API. Using cURL to interact with Googledata services 可以去 http://pycurl...

日期:2014-04-06

pycurl使用post方式上传文件

   最近有个事情,需求是发送post请求到web服务器,达到文件上传的目的,这个当然是有原因的,因为那个网站没有做批量上传,而需要上传的东西又太多……好了,废话不多说,进入正题: 这样的小事情当然还是用python来写比较简单快捷,用到http请求最直接的方式是用标准库里面的urllib和urllib2,但不能满足这次的需求...

日期:2014-04-06

Pycurl模块的安装方法

   年前调用客户的第三方开发方的Service的时候,一开始使用了urllib和urllib2性能不太理想,在stackoverflow上有人给出了pycurl的替代方案,实验之后发现比用urllib或urllib2来调用,性能提高了不少。 在桌面上发现这篇年前写的安装备忘,发出来作为存档。 本地开发环境, 1、Mac OS X(我用的是Mac OS ...

日期:2014-04-06

热点推荐

    SQL Error: select * from ***_***_news where id in ()