Python6_服务器之家

服务器之家

专注于服务器技术!
当前位置:首页 > 脚本编程 > Python

使用python通过指定的关键字抓取blogsearch.google.com数据

   以前写的一个网页抓取脚本与大家分享,代码需要用到pycurlhttp://pycurl.sourceforge.net/请自行安装好。 代码功能: 1.设定需要查询的关键字和存储关键字的文件 2.开启50个线程自动抓取google的数据 import sys,Queue,threading,pycurl,re fro...

日期:2014-04-12

使用python抓取与解析网页

   事情的起因是,我做survey的时候搜到了这两本书:Computational Social NetworkAnalysis和Computational SocialNetwork,感觉都蛮不错的,想下载下来看看,但是点开网页发现这个只能分章节下载,晕,我可没时间一章一章下载,想起了迅雷的下载全部链接,试试看,果真可以把他们一网打尽,但是,sadly,迅雷下载的时候...

日期:2014-04-12

使用pycurl来抓取网页实例讲解

  一直听说,curl很强大,可一直没有涉足,太可惜终于有一天,我的urllib,httplib,在抓取个别网站时,出现了问题于是想试试curl.已经感觉到它的强大了,个别网站已经取得数据了. 在找pycurl的使用方法时,对初次使用者,很困难,于是想写个简单的demo方便想涉足者使用:import pycurlimport StringIO url='www.baidu.c...

日期:2014-04-12

使用pycurl提交网页的FORM表单

   使用pycurl进行web提交 之前使用python提交数据到服务器时都是采用自带的urllib库。前一段时间登录某Cas系统时,总是莫名的失败。失败的原因好像是cookie的问题,各个页面需要共享cookie。尝试了多个给urllib设置cookie的方法,还是没能成功。 后来,试了pycurl,竟然成功了,那就使用pycurl吧。(很抱歉,我...

日期:2014-04-12

Pycurl使用介绍

  pycurl — A Python interface to the cURL library Pycurl包是一个libcurl的Python接口.pycurl已经成功的在Python2.2到Python2.5版编译测试过了. Libcurl是一个支持FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 和LDAP的客户端URL传输库.libcurl也支持HTTPS认证,HTTP POST,HTTPPUT,FTP上传,代理,Co...

日期:2014-04-12

pycurl如何获得HTTP header头部信息

  libcurl curl_easy_setopt()中CURLOPT_HEADERFUNCTION 函数指针: size_t function( void *ptr, size_t size, size_t nmemb,void *stream); 作用 :当libcurl收到header 数据, 会调用此函数处理.当全部header的lines传递给回调函数后,此函数调用一次(为每个header), 可以使用此函数解析header c中用法...

日期:2014-04-12

PycURL Callbacks回调函数的使用实例

  为了精细化控制,libcurl 允许每个连接和一系列回调函数相联系。在 pycurl 中,使用 Curl 对象的 setopt()方法来定义回调函数,可用的选项有: WRITEFUNCTION, READFUNCTION, HEADERFUNCTION,PROGRESSFUNCTION, IOCTLFUNCTION, 和 DEBUGFUNCTION 。这些选项和 libcurl中去掉了 CURLOPT_* 前缀的那些选项相对应。...

日期:2014-04-12

Python程序中如何使用HTTP POST方式上传文件

   如果只是要模拟提交一个不包含文件字段的表单,实现起来是很简单的,但涉及到文件上传就有一点小复杂,需要自己对文件进行编码,或者使用第三方模块。 如果机器上有 PycURL,那么可以使用 PycURL 来上传文件。 不过,由于 PycURL 需要用到 curl,在 Windows 下安装可能会有点麻烦,除 PycURL 外,也有一些其...

日期:2014-04-12

Python使用pycurl获取http的响应时间

   最近需要对节点到源站自己做个监控,简单的ping可以检测到一些东西,但是http请求的检查也要进行,于是就研究了下pycurlpycurl是个用c语言实现的python 库,虽然据说不是那么pythonic,但是却很高效,它支持的协议居多:supporting FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE andLDAP. libcurl suppor...

日期:2014-04-12

Python pycurl模块使用总结

   pycurl 顾名思义 就是 python 和 curl 的结合体拉 称之为结合体 其实也不是 这只是一个粘合型的python模块 用来调用curl的功能的 pycurl官方网站 然后这个要怎样安装呢? 一般人就想下个exe安装包 然后双击安装 其实好像也可以的。。不过不建议 因为过程我不懂 我试了安装失败好像只支持python2.6的...

日期:2014-04-12

热点推荐

    SQL Error: select * from ***_***_news where id in ()