- 浏览: 248797 次
- 性别:
- 来自: 北京
文章分类
最新评论
-
runjia1987:
cpu 100%,是因为读=-1时,没有解注册OP_READ, ...
java nio网络编程的一点心得 -
two_plus:
按照你的例子 服务端变成读循环了...
java nio网络编程的一点心得 -
ilovemyyang:
我也遇到同样的空循环问题,也是百度才找到了的,楼主给力哦
java nio网络编程的一点心得 -
高攀sky:
Python发邮件 -
fobdddf:
fobdddf 写道朋友你好,我试了一下数组的那个例子,反汇编 ...
读《深入理解计算机系统》
我已经好几次碰到这样的错误了,每次碰到都花费我大量的时间,下面总结下我所犯的错误,希望对大家也有帮助。
闭包
我想抓取一系列的网页,抓取网页很慢,然后对网页内容进行处理,为了提高速度,我启动了多个线程去抓。以下是其代码:
代码很简单,对每个url都启动一个线程,线程启动时运行_fetch函数,_fetch函数是个闭包,因为它引用了循环变量url,我使用time.sleep()来模拟抓取网页的过程。我们期望url在每个_fetch函数内有不同值,且在函数内保持不变,但实际上不是,上述程序输出如下结果:
注意到process content全部输出的都是baidu。为什么会有这个结果?这是因为实际上每个_fetch引用的是同一个变量,随着循环的进行,url的值在不断的变化。线程刚启动时url值还没来得及改变,但是抓取网页完成后,循环已经结束了,url保持为最后一次循环的值,即http://www.baidu.com。怎么解决这个问题呢?在_fetch函数内部先将url赋给一个局部变量的方式是有问题的:
虽然它的输出结果在我的机器上是正确的,但却有可能在其它机器上失败,这是因为线程的启动可能在这次循环体结束之后,这样有可能会抓取重复的url。一种方式是利用命名参数来保持当前循环时url值:
这种方式起作用是因为每个函数会保持命令参数的默认值,每次循环时的url被保持在_fetch函数内,不带参数调用它时,url为函数本身保持的url默认值,而不是循环变量url。仅仅对这个示例,更简单的方式是直接将url传给线程的构造函数,但这种方式并不总有效。
变量覆盖方法
我要写一个让用户输入验证码的引擎,验证码内容从一个url处获得,两次让用户输入验证码。以下是其代码:
代码看起来很正常,但运行时却显示错误:
异常是在第二次调用e.captcha()方法时出现的,错误很令人莫名其妙。问题原因是我们在第6行将用户输入结果保存在self.captcha中了,它和方法名字一样,所以第一次调用完成之后,e.capcha就变成用户输入的字符串了,所以在第11行再次调用e.captcha()方法时,它实际上调用str.__call__()方法,而str没有这个方法,所以就出现上面的异常。有Java,C++或者C#背景的人比较容易上犯这个错误,在这些语言中变量和方法属于不同的命名空间,一方不会覆盖另一方。而在python等函数编程语言中,函数就是第一类对象,不再区分方法和变量,同名的变量会覆盖同名的方法,反之亦然。解决方法很简单,将captcha方法重命名为get_captcha就可以了。
list comprehension
我要导入一个联系人列表,每个联系人有name, mobile, address, im, 并且可能有多个备份mobile,假设每个字段以空格分开,多个备份mobile之前以逗号分开。以下是其代码:
你可能会想结果会输出:
但实际输出:
这是因为第12行使用了list comprehension,其中使用变量名称和第9行使用的变量名称相同,都为mobile,在python中这两个是同一个变量,使用list comprehension会改变mobile,最终结果为backup_mobiles最后一个元素的值。有Java, C++等背景的人也容易犯这个错误,因为很容易将list comprehension理解成:
而在这些语言中,mobile属于for循环里的局部变量,不会覆盖外面的同名变量(只是会隐藏)。但在python中不同,两者是同一个变量,解决方法很简单将list comprehension中的mobile变量改成短名m,就像循环变量通常使用短名一样,list comprehension也最好使用短名,表示它们的作用域很小,不容易覆盖外围变量(或者覆盖了也没事)。
(完)
闭包
我想抓取一系列的网页,抓取网页很慢,然后对网页内容进行处理,为了提高速度,我启动了多个线程去抓。以下是其代码:
import sys import threading import time urls = [ 'http://www.google.com', 'http://www.sina.com.cn', 'http://www.baidu.com' ] for url in urls: def _fetch(): sys.stdout.write('fetch from: %s\n' % url) time.sleep(1) # 模拟获取网页 sys.stdout.write('process content from: %s\n' % url) threading.Thread(target=_fetch).start()
代码很简单,对每个url都启动一个线程,线程启动时运行_fetch函数,_fetch函数是个闭包,因为它引用了循环变量url,我使用time.sleep()来模拟抓取网页的过程。我们期望url在每个_fetch函数内有不同值,且在函数内保持不变,但实际上不是,上述程序输出如下结果:
fetch from: http://www.google.com fetch from: http://www.sina.com.cn fetch from: http://www.baidu.com process content from: http://www.baidu.com process content from: http://www.baidu.com process content from: http://www.baidu.com
注意到process content全部输出的都是baidu。为什么会有这个结果?这是因为实际上每个_fetch引用的是同一个变量,随着循环的进行,url的值在不断的变化。线程刚启动时url值还没来得及改变,但是抓取网页完成后,循环已经结束了,url保持为最后一次循环的值,即http://www.baidu.com。怎么解决这个问题呢?在_fetch函数内部先将url赋给一个局部变量的方式是有问题的:
for url in urls: def _fetch(): _url = url sys.stdout.write('fetch from: %s\n' % _url) time.sleep(1) # 模拟获取网页 sys.stdout.write('process content from: %s\n' % _url) threading.Thread(target=_fetch).start()
虽然它的输出结果在我的机器上是正确的,但却有可能在其它机器上失败,这是因为线程的启动可能在这次循环体结束之后,这样有可能会抓取重复的url。一种方式是利用命名参数来保持当前循环时url值:
for url in urls: def _fetch(url=url): sys.stdout.write('fetch from: %s\n' % url) time.sleep(1) # 模拟获取网页 sys.stdout.write('process content from: %s\n' % url) threading.Thread(target=_fetch).start()
这种方式起作用是因为每个函数会保持命令参数的默认值,每次循环时的url被保持在_fetch函数内,不带参数调用它时,url为函数本身保持的url默认值,而不是循环变量url。仅仅对这个示例,更简单的方式是直接将url传给线程的构造函数,但这种方式并不总有效。
for url in urls: def _fetch(url): sys.stdout.write('fetch from: %s\n' % url) time.sleep(1) # 模拟获取网页 sys.stdout.write('process content from: %s\n' % url) threading.Thread(target=_fetch, args=(url,)).start()
变量覆盖方法
我要写一个让用户输入验证码的引擎,验证码内容从一个url处获得,两次让用户输入验证码。以下是其代码:
class Engine(object): def captcha(self, url): '''从url处获得验证码''' # get captcha from url # ... self.captcha = raw_input('Enter the captcha: ') return self e = Engine() e.captcha('http://website/captcha') # first time print 'You entered captcha: %s' % e.captcha e.captcha('http://website/captcha') # second time print 'You entered captcha: %s' % e.captcha
代码看起来很正常,但运行时却显示错误:
Enter the captcha: <<ea859>> # 输入验证码 You entered captcha: <<ea859>> Traceback (most recent call last): File "test.py", line 11, in <module> e.captcha('http://website/captcha') # second time TypeError: 'str' object is not callable
异常是在第二次调用e.captcha()方法时出现的,错误很令人莫名其妙。问题原因是我们在第6行将用户输入结果保存在self.captcha中了,它和方法名字一样,所以第一次调用完成之后,e.capcha就变成用户输入的字符串了,所以在第11行再次调用e.captcha()方法时,它实际上调用str.__call__()方法,而str没有这个方法,所以就出现上面的异常。有Java,C++或者C#背景的人比较容易上犯这个错误,在这些语言中变量和方法属于不同的命名空间,一方不会覆盖另一方。而在python等函数编程语言中,函数就是第一类对象,不再区分方法和变量,同名的变量会覆盖同名的方法,反之亦然。解决方法很简单,将captcha方法重命名为get_captcha就可以了。
class Engine(object): def get_captcha(self, url): '''从url处获得验证码''' # get captcha from url # ... self.captcha = raw_input('Enter the captcha: ') return self e = Engine() e.get_captcha('http://website/captcha') # first time print 'You entered captcha: %s' % e.captcha e.get_captcha('http://website/captcha') # second time print 'You entered captcha: %s' % e.captcha
list comprehension
我要导入一个联系人列表,每个联系人有name, mobile, address, im, 并且可能有多个备份mobile,假设每个字段以空格分开,多个备份mobile之前以逗号分开。以下是其代码:
from StringIO import StringIO def is_mobile(mobile): return len(mobile) == 11 def import_contacts(file): for line in file.readlines(): parts = line.strip().split() name = parts[0] mobile = parts[1] address = parts[2] im = parts[3] backup_mobiles = [ mobile for mobile in parts[4].split(',') if is_mobile(mobile) ] print 'importing contact: %s, mobile=%s' % (name, mobile) import_contacts(StringIO('''marlon 13511002222 beijing marlon@gmail.com 13711112222,13822224444'''))
你可能会想结果会输出:
importing contact: marlon, mobile=13511002222
但实际输出:
importing contact: marlon, mobile=13822224444
这是因为第12行使用了list comprehension,其中使用变量名称和第9行使用的变量名称相同,都为mobile,在python中这两个是同一个变量,使用list comprehension会改变mobile,最终结果为backup_mobiles最后一个元素的值。有Java, C++等背景的人也容易犯这个错误,因为很容易将list comprehension理解成:
List<String> backup_mobiles = new ArrayList<String>(); for (String mobile: parts[4].split(",")) { backup_mobiles.add(mobile); }
而在这些语言中,mobile属于for循环里的局部变量,不会覆盖外面的同名变量(只是会隐藏)。但在python中不同,两者是同一个变量,解决方法很简单将list comprehension中的mobile变量改成短名m,就像循环变量通常使用短名一样,list comprehension也最好使用短名,表示它们的作用域很小,不容易覆盖外围变量(或者覆盖了也没事)。
from StringIO import StringIO def is_mobile(mobile): return len(mobile) == 11 def import_contacts(file): for line in file.readlines(): parts = line.strip().split() name = parts[0] mobile = parts[1] address = parts[2] im = parts[3] backup_mobiles = [ m for m in parts[4].split(',') if is_mobile(m) ] print 'importing contact: %s, mobile=%s' % (name, mobile) import_contacts(StringIO('''marlon 13511002222 beijing marlon@gmail.com 13711112222,13822224444'''))
(完)
发表评论
-
Python模板性能评测
2011-11-28 18:00 5524本篇主要是对django, jinja ... -
Mongodb内嵌文档插入性能评测
2011-11-20 18:03 11318Mongodb作为典型的文档数据库,支持内嵌文档和复杂的查询, ... -
支持通配符的DNS代理
2011-05-05 22:23 6934hosts文件可以手动配置一些域名的IP地址,它的优先级最高, ... -
在App Engine下运行Django 1.2
2011-03-20 22:12 1890我不知道App Engine是从什 ... -
实现简单的Future
2011-02-19 19:38 1563异步调用的困难之处我们不知道它什么时候会返回,通常的解决方法是 ... -
创建简单声明式python对象模型
2011-02-19 12:27 2678创建简单python声明式对象模型 要创建一个简单的Auth ... -
用RestrictedPython创建Python Sandbox
2011-02-13 17:35 2779众所周知在Python下可以 ... -
wxpython中工作线程与主线程交互
2011-01-15 23:56 6031在wxpython中,像其它GUI ... -
Python下Base64编码
2010-12-04 12:53 2527在Python下有Base64编码的库,可直接用,我自己写了个 ... -
Python中用MetaClass实现委托、不可变集合
2010-09-13 16:01 5252委托(delegate)是许多设计模式(如Decorator, ... -
用编程语言作数据库测试的配置
2010-09-11 11:25 1267在上一篇博客:django, mo ... -
django, mongodb与测试
2010-09-11 10:05 3255在django下很容易写测试,只需要继承DjangoTestC ... -
一个简单的Form向导实现
2010-06-20 18:42 1316Django的contrib中带了个FormWizard,但是 ... -
再一个用于调试Django模板的标签
2010-06-15 17:42 1754主要用于在Html中递归输出对象的属性,这对调试Django相 ... -
几个用于调试Django模板的标签
2010-06-15 17:18 4528Django模板有诸多限制,例如不能调用方法,不能执行任意的P ... -
探索Python下的property, classmethod, staticmethod的实现
2010-05-30 21:10 4048Python有几个内置方法poperty, classmeth ... -
Python农历公历转换
2010-04-24 17:38 2136实现中主要有两个方法,一个是get_lunar_date,它根 ... -
Python发邮件
2010-03-27 11:25 2307下面的代码的作用是将电子书作为附件发送到163邮箱。 ...
相关推荐
python变量.pdf
python变量使用教案教学设计.docx
Python变量,运算符以及语句的基础变量 Python变量,运算符以及语句的基础变量
python 变量判断是否为none,方便if-else 语句的使用。
《信息采集—Python变量》教学设计.pdf
主要使用python pyqt5 制作的变量命名小工具
python 自己整理的md文档 帮助初学者复习总结 整理使用
在Python中,不需要事先声明变量名及其类型,直接赋值即可创建各种类型的对象变量。 >>> x = 3 解析:创建了整型变量x,并赋值为3。 >>> x="Hello World." 解析:创建了字符串变量x,并赋值为“Hello World.” 。 在...
Python 变量类型
python变量与基本的数据类型,教你怎么入门,怎么学习python简单知识
python 变量类型转换 示例
python变量与基本数据类型
Python 变量类型、标准数据类型
Python由荷兰数学和计算机科学研究学会的吉多·范罗苏姆于1990年代初设计,Python提供了高效的高级数据结构,还能简单有效地面向对象编程。Python语法和动态类型,以及解释型语言的本质,使它成为多数平台上写脚本和...
第3章 python变量和数据类型.pptx 对python变量和数据类型的介绍,里面有具体的示例,适合初学者和教学人员使用
python变量命名规范.pdf
python 变量的基本使用
使用Python设置环境变量