当前位置首页 > Apache知识

性能测试案例-JAVA+LR实现apache流媒体

阅读次数:386 次  来源:admin  发布时间:

1、JAVA部分

最近的一个项目,视频点播系统,使用apache实现的流媒体服务器。

其实准确的说叫做伪流(HTTP Pseudo-Streaming),基本原理和概念自行了解吧。

让我简单的描述就是仍然是HTTP下载,播放器播放本地缓存。只不过它也实现了一些和正规流媒体服务类似的功能。

视频点播类系统的性能测试,说简单了主要就是模拟大量用户去看视频。

服务端监控整体性能,客户端关注各自表现。

这里难点主要在于如何模拟大量用户观看视频?如何判断各客户端展现?

多客户端的模拟无外乎3种方法:

1.全公司总动员,一起看。

2.一台机器开多个播放页面(或者是一个页面上嵌入多个播放器),调用多台机器。

3.抛弃客户端的解码播放过程,直接想法下载视频文件。

第一种方法不用说,虽然最真实,但太原始没有技术含量,如果是小公司人还不一定够。

第二种方法在需要测试的用户数不大时还可以,否则会占用较多资源,而且技术含量也较低。这种方式,一台机器上能模拟的用户数很有限,因为CPU会很快成为瓶颈。

第三种方法最高效,在千兆网环境下,一台机器可以模拟很多路用户,此时网络带宽是瓶颈(如果带宽更大,估计硬盘IO就是瓶颈了)。但是没有解码和播放,如何判断客户端的效果呢?两种方式,一是对比下载速度和码率,理论上只要下载速度足够就可以了;二是测试过程中也可以打开几个真实的播放窗口来验证播放效果,因为压力在服务端,可以认为每个客户端都是等价的。

本文要讲的就是第三种测试方法。

以前还测过FMS的流媒体,网上可以找到现成的工具来实现本方法,只要调用就可以了。

但HTTP的这次也搜了两天,好像还真没有,只好自己动手了。

看来最高效的方法,实现起来却是最麻烦的。

基本思路是JAVA实现下载功能,用LR的JAVA Vuser实现多用户的控制。

动手前先给自己整理了一个需求

功能:

模拟下载√

播放列表√

下载速度记录:总平均速度、每秒速度√

*伪装成播放器进行连接

*客户端限速

测试结果:

apache限速

下载速度

文件完整

功能扩展

jar包或者exe文件传参(播放列表)

打对钩的是已经实现了,带星号的是未实现、也不一定需要实现的高级功能。

通过测试程序,需要得到的结果是下载是否正确完成?下载速度是否足够?apache的限速模块是否起作用(如果开启)?

这里可能会有个问题,如果下载程序突破了apache的限速,那有可能是测试程序的问题,这就引出了上面的高级功能“伪装成播放器”。

下面直接贴代码,说明尽量放到注释里。

下载类,提供静态方法。

 1 package com.test;
 2 import java.io.*;
 3 import java.net.*;
 4 import java.util.*;
 5 
 6 public class DownloadFile {
 7 
 8     /*
 9      *下载指定URL的文件
10      *userid是用于保存本地文件的标识
11      **/
12     public static int getHttpFileByUrl(String address, String userid) {
13         int bufferSize = 1024;
14         int size = 0;
15         byte[] buf = new byte[bufferSize];
16         
17         /*
18          *下载时间字符串
19          *用于文件标识
20          *格式201210260130
21          **/        
22         Date date = new Date();

23 SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss"); 24 String downloadTime = formatDate.format(date)

30 31 /* 32 *计算下载速度相关 33 */ 34 int totalDownloadSize = 0; 35 int lastDownloadSize = 0; 36 long lastCheckTime = 0; 37 long startDownloadTime = 0; 38 int sec = 0; 39 40 /* 41 *下载和计算过程 42 */ 43 try { 44 URL url = new URL(address); 45 URLConnection conn = url.openConnection(); 46 BufferedInputStream bis = new BufferedInputStream(conn.getInputStream()); 47 FileOutputStream fos = new FileOutputStream("e:\\test\\testvideo" + "_" + downloadTime + "_" + userid); 48 49 System.out.println("File Size:" + conn.getContentLength()/1024 + "KB"); 50 51 startDownloadTime = System.currentTimeMillis(); 52 lastCheckTime = startDownloadTime; 53 54 while ((size = bis.read(buf)) != -1) 55 { 56 fos.write(buf,0,size); 57 totalDownloadSize += size; 58 59 /* 60 *计算每秒下载速度 61 */ 62 if (System.currentTimeMillis() - lastCheckTime > 1000) { 63 System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB"); 64 lastCheckTime = System.currentTimeMillis(); 65 lastDownloadSize = totalDownloadSize; 66 sec++; 67 } 68 } 69 70 System.out.println("Vuser " + userid + " Download Completed!"); 71 System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s"); 72 73 fos.close(); 74 bis.close(); 75 76 }catch (MalformedURLException e) { 77 e.printStackTrace(); 78 }catch (IOException e) { 79 e.printStackTrace(); 80 } 81 82 return totalDownloadSize/1024; 83 } 84 }

测试驱动。

 1 import com.test.*;
 2 import java.util.*;
 3 import java.io.*;
 4 
 5 public class DownloadDrive {
 6 
 7     public static void main (String[] args) {
 8         
 9         //System.out.println("test");
10         //DownloadFile.test();
11         
12         /*
13          *调用者测量
14          *自行实现
15          */
16         int DownLoadSize = 0;
17         double DownLoadTime = 0;
18         int Speed = 0;
19                 
20         String url;
21         ArrayList urlList = new ArrayList();
22 
23         /*
24          *读取待下载的URL地址
25          *保存到list中
26          */
27         try{
28             BufferedReader br = new BufferedReader(new FileReader("url.txt"));
29             while((url = br.readLine()) != null){
30                 urlList.add(url);
31             }    
32         }catch(IOException ie){
33             ie.printStackTrace();
34         }
35         
36         System.out.println("Total URLs: " + urlList.size());
37         
38         /*
39          *依次下载list中的文件
40          */
41         for(int i = 0; i < urlList.size(); i++){
42             url = (String)urlList.get(i);
43             System.out.println(url);            
44             //传入url和每个调用者的标识
45             DownloadFile.getHttpFileByUrl(url, "1");
46         }
47     }    
48     
49 }

将待下载的URL保存到url.txt中,每行一个地址。文件放到DownloadDrive.class同目录中。

http://www.ospreypacks.com/user_manuals/S12_Kestrel_OM_SCh1.pdf

http://desktop.youku.com/youkuclient/youkuclient_setup.exe

http://download.get.live.cn/components/pinyin/EngkooPinyinSetup_1.0.382.02.exe

运行测试,结果如图

Total URLs: 3
http://www.ospreypacks.com/user_manuals/S12_Kestrel_OM_SCh1.pdf
File Size:1979KB
0: 85KB
1: 333KB
2: 396KB
3: 370KB
4: 254KB
5: 318KB
6: 151KB
7: 7KB
8: 5KB
9: 11KB
10: 7KB
11: 7KB
12: 7KB
13: 7KB
14: 7KB
Vuser 1 Download Completed!
Average Download Speed: 116KB/s
http://desktop.youku.com/youkuclient/youkuclient_setup.exe
File Size:8970KB
0: 505KB
1: 253KB
2: 405KB
3: 210KB
4: 366KB
5: 325KB
6: 312KB
7: 352KB
8: 355KB
9: 288KB
10: 352KB
11: 185KB
12: 454KB
13: 341KB
14: 292KB
15: 354KB
16: 337KB
17: 379KB
18: 345KB
19: 194KB
20: 404KB
21: 281KB
22: 10KB
23: 511KB
24: 332KB
25: 258KB
26: 328KB
Vuser 1 Download Completed!
Average Download Speed: 299KB/s
http://download.get.live.cn/components/pinyin/EngkooPinyinSetup_1.0.382.02.exe
File Size:24290KB
0: 362KB
1: 273KB
2: 292KB
3: 329KB
4: 307KB
5: 325KB
6: 329KB
7: 295KB
8: 312KB
9: 295KB
10: 329KB
11: 332KB
12: 275KB
13: 271KB
14: 361KB
15: 313KB
16: 275KB
17: 372KB
18: 314KB
19: 369KB
20: 323KB
21: 350KB
22: 354KB
23: 340KB
24: 342KB
25: 349KB
26: 317KB
27: 354KB
28: 303KB
29: 345KB
30: 345KB
31: 354KB
32: 328KB
33: 330KB
34: 305KB
35: 304KB
36: 310KB
37: 352KB
38: 347KB
39: 286KB
40: 194KB
41: 292KB
42: 350KB
43: 286KB
44: 433KB
45: 330KB
46: 295KB
47: 319KB
48: 358KB
49: 301KB
50: 302KB
51: 304KB
52: 295KB
53: 312KB
54: 311KB
55: 280KB
56: 310KB
57: 304KB
58: 273KB
59: 320KB
60: 288KB
61: 294KB
62: 351KB
63: 354KB
64: 296KB
65: 354KB
66: 362KB
67: 361KB
68: 296KB
69: 329KB
70: 246KB
71: 411KB
72: 270KB
73: 327KB
74: 321KB
Vuser 1 Download Completed!
Average Download Speed: 299KB/s

Process completed.

到这,主要代码已经实现了。下一步需要做的是和LR整合,用LR的Java Vuser对下载功能进行控制,模拟多用户。

其实也就是重写一个测试驱动,只不过这个驱动是需要LR内部方法了,应该没有什么技术上的难点了。

2、LR部分

新建LR的JAVA Vuser脚本,这里可以直接进行JAVA编码,又可以调用LR的内部方法,如事务、思考时间、集合点等等。到了这步已经没有任何难点了,开发人员只要花1个小时了解下LR的基本使用和常用方法即可,测试人员如果不会JAVA……那还是算了吧。

Action.java内容如下:

 1 import lrapi.lr;
 2 import com.test.*;
 3 import java.util.*;
 4 import java.io.*;
 5 
 6 public class Actions
 7 {
 8 
 9     public int init() throws Throwable {
10         return 0;
11     }//end of init
12 
13 
14     public int action() throws Throwable {
15         
16         /*
17         调用者测量
18         */
19         int downloadSize = 0;
20         int downloadTime = 0;
21         long startTime = 0;
22         long endTime = 0;
23         int speed = 0;
24 
25         int vid;
26         vid = lr.get_vuser_id();
27 
28         /*
29         从url文件生成arraylist
30             */
31         String url;
32         ArrayList urlList = new ArrayList();
33 
34         try{        
35                 BufferedReader br = new BufferedReader(new FileReader("url.txt"));
36 
37              while((url = br.readLine()) != null){
38                urlList.add(url);
39         }
40         }catch(IOException ie){
41           ie.printStackTrace();
42         }
43 
44         lr.enable_redirection(true);
45         lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_OFF);
46 
47         System.out.println("Total URLs: " + urlList.size());
48 
49         for(int i = 0; i < urlList.size(); i++){
50           url = (String)urlList.get(i);
51           System.out.println(url);
52 
53           //事务名称
54           String trxName = "URL" + (i+1);
55 
56           startTime = System.currentTimeMillis();
57 
58           lr.start_transaction(trxName);
59           //传入url和每个调用者的标识
60           downloadSize = DownloadFile.getHttpFileByUrl(url, Integer.toString(vid));
61           lr.end_transaction(trxName, lr.AUTO);
62 
63           endTime = System.currentTimeMillis();
64           downloadTime = (int)(endTime - startTime)/1000;
65           speed = downloadSize / downloadTime;
66 
67           lr.output_message(trxName + ": completed");
68           lr.output_message("time cost: " + downloadTime + "s");
69           lr.output_message("average speed: " + speed + "KB/s");
70           lr.output_message("");
71 
72         }
73 
74         lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_ON);
75 
76         return 0;
77     }//end of action
78 
79 
80     public int end() throws Throwable {
81         return 0;
82     }//end of end
83 }

所有以lr开头的方法都是LR内部方法,这里只用到了事务、日志等几个。

编译之前我们的JAVA下载代码,将包(com.test)放入LR脚本的目录中,如图:  

性能测试案例-JAVA+LR实现apache流媒体

打开LR脚本,运行试一下。

性能测试案例-JAVA+LR实现apache流媒体

可以看到正常输出了日志,再验证一下下载到的文件是否完整,找到输出路径,如“h:\test\testvideo_20121106194419_-1”,用播放器打开这个文件,正常播放。说明我们的脚本已经OK了,下面就要做多用户的测试了。

打开controller,设置同时运行2个VUSER(为了保证负载机的网络不成为瓶颈),运行场景。

性能测试案例-JAVA+LR实现apache流媒体

可以看到,2个VUSER都按预期正常完成了。

从几个方面验证测试的有效性:

1是负载机的网络利用,上面单用户执行脚本时下载速度是5M/s(apache服务器做了限速),这次两个用户同时下载达到了10M。

性能测试案例-JAVA+LR实现apache流媒体

2是每个VUSER的输出日志。

3是下载文件的完整性。

性能测试案例-JAVA+LR实现apache流媒体

上一篇:Ubuntu安装VMwareWorkstation8.0.3
下一篇:win10子系统debian+图形界面