测试wallproxy-plugins速度后总结的几个问题

[GoogleCodeExporter]

我测试了下wallproxy-plugins的速度，用wget下载文件http://ctan.macki
chan.com/FILES.byname或下载baidu.com等，下面是其中wget的输出信息�
��

Connecting to 127.0.0.1:8086... connected.
Proxy request sent, awaiting response... 302 Found
Location: http://ctan.mackichan.com/FILES.byname [following]
--2011-11-02 18:11:16--  http://ctan.mackichan.com/FILES.byname
Connecting to 127.0.0.1:8086... connected.
Proxy request sent, awaiting response... 200 OK
Length: 10776021 (10M) [text/plain]
Saving to: `FILES.byname'

100%[======================================>] 10,776,021  1.68M/s   in 10s
2011-11-02 18:16:43 (405 KB/s) - `CJK.zip' saved [20384230/20384230]

几次测试的总结如下：

1. 
速度慢似乎是因为wallproxy处理代理请求慢，而不是网速本身��
�（即GAE访问其它网站的速度还是很快的），这个速度慢的后�
��主要在浏览网页，感觉一顿一顿的，很不舒服，下载大文件
还ok

第一个代理请求花了1~2秒（Connecting to 127.0.0.1:8086... 
connected），从发出第二个代理请求（Proxy request sent, awaiting 
response）等了15秒左右才显示文件下载，

2. 下载速度不稳定

下载http://ctan.mackichan.com/FILES.byname，速度时快时慢，从300K/s~2M
/s速度不登

3. 
网页访问速度有个加速过程，但是不能一下子就快起来呢？��
�样访问web很不流畅

下载http://ctan.mackichan.com/FILES.byname速度慢慢（十几秒左右）从
几十K/s增加几百K/s

Original issue reported on code.google.com by Coiby...@gmail.com on 2 Nov 2011 at 10:37

[GoogleCodeExporter]

是的，python本身就是一个比较慢的语言，我在优化goagent的请�
��处理速度的时候深深体会到了。

Original comment by phus.lu on 2 Nov 2011 at 1:11

[GoogleCodeExporter]

很多时候我都想用golang重写一下goagent客户端，但是因为要移�
��到移动设备上，所以放弃了。
不过建议wallproxy可以尝试下，效率应该会大大提升。

Original comment by phus.lu on 2 Nov 2011 at 1:22

[GoogleCodeExporter]

1、本地Connect耗时较长大概是基于BaseHTTPServer的原因，换个专�
��点的服务器可能会改善；
2、“从发出第二个代理请求（Proxy request sent, awaiting 
response）等了15秒左右才显示文件下载”，这一点显然不可能�
��本地处理太慢的缘故啊，这是因为本地把请求发到GAE后，因
为GAE的api只能把文件一次性下载完，不能像先连接有个socket��
�一定处理后再进行读写，所以这个15秒主要是是目标文件下��
�到GAE服务器用的时间，之后传回本地才知道作何响应。
3、速度时快时慢是多线程分块乱序下载的结果，设置max_thread
s参数为1来单线程下载你就能得到比较均匀的速度了
4、主要还是连接耗时了
有需求和精力的可以多研究下，我表示现在是既没需求又没��
�力。

Original comment by dtma...@163.com on 2 Nov 2011 at 3:55

[GoogleCodeExporter]

“本地Connect耗时较长大概是基于BaseHTTPServer的原因”这个原��
�不太懂，本地connect不是本机到GAE客户端的时间吗？和换服务
器什么关系。phus的解释（python比较慢）比较make sense

Original comment by Coiby...@gmail.com on 3 Nov 2011 at 9:28

[GoogleCodeExporter]

楼上可以测下goagent，虽然没有wp的多线程rangefetch给力，但是�
��于多次的单个请求还是做了一些优化的，期待你也能测下goa
gent.

Original comment by phus.lu on 3 Nov 2011 at 11:05

[GoogleCodeExporter]

BaseHTTPServer是Python自带的一个http服务器，这是很简单的一个��
�务器，不怎么好

Original comment by dtma...@163.com on 3 Nov 2011 at 2:36

[GoogleCodeExporter]

@phus 我试了下goagent，这是测试结果：
1. 
在浏览网页方面，速度比wallproxy-plugins快一点，但是很不明显
（忽略不计:()，另外douban.fm不能听歌和新浪分享上文件不能��
�载，wp-p可以听歌及下载

2. 
下载http://ctan.mackichan.com/FILES.byname比wp-p稳定很多，10M文件在20
s左右，wp-p有时候速度很快，10s左右就下完了，但是很不稳定
，测试了10次，有4次（差不多一半）下载时间跑到40s以上了

3.下载http://www.mendeley.com/repositories/xUbuntu_11.04/amd64/mendeleydesktop
_1.1.1_amd64.deb（30M），wp-p的多线程下载就突出来了，wp-p速度��
�快（60s)左右就可以下完），而gogaent1分钟才下载了10%左右

Original comment by Coiby...@gmail.com on 5 Nov 2011 at 7:38

[GoogleCodeExporter]

呃，网页速度"很不明显"啊，那说明我优化的还不够，我会继
续努力的。最新的开发版接下来会有一个较大本地性能改进��
�
至于其他方面，不是goagent的目前的目标，呵呵。

Original comment by phus.lu on 5 Nov 2011 at 5:28

[GoogleCodeExporter]

敬候佳音。是不是版本号也该升级了？谢谢

Original comment by fhzyf...@gmail.com on 6 Nov 2011 at 3:40

[GoogleCodeExporter]

Comment 2 by phus...@gmail.com, Nov 2 (3 days ago)

很多时候我都想用golang重写一下goagent客户端，但是因为要移�
��到移动设备上，所以放弃了。
不过建议wallproxy可以尝试下，效率应该会大大提升。

===========================
厄。这个我想试试。正在看goagent ing。。

Original comment by cwyal...@gmail.com on 6 Nov 2011 at 5:25

[GoogleCodeExporter]

期待下一个版本~

Original comment by Coiby...@gmail.com on 10 Nov 2011 at 10:25