perl 语言编程实例－多进程篇

horsley

1. 
   
2. perl 语言编程实例－多进程篇
   
3. 
   
4. perl 语言是一种非常强大的脚本语言，其应用遍及系统维护，CGI，数据库编程。
   
5. 以下是我遇到的一个具体问题，应用perl获得圆满解决。
   
6. 
   
7. 问题提出：
   
8.     某数据库应用。需要检索一批数据（A表，数据量12万左右）。对该批数据
   
9. 将进行逐一核对，期间将关联三个千万级的表（C,D,E表，分别有近亿条数据），
   
10. 并将检索状态插入一张新表(F)。
    
11. 
    
12. 传统解决方案：
    
13.     编写存储过程。打开一个cursor，对A表遍历，逐一检索C,D,E表。
    
14. 判断状态写入新表。编程过程十分简单，顺利完成。但执行时效率低下，耗时在
    
15. 8小时左右，不能满足要求。
    
16. 
    
17. 分析：
    
18.     C,D,E表建有极其完备的索引。对单条数据检索极其快速。同时执行时主机CPU
    
19. 
    
20. ，
    
21. 内存等资源十分空闲。查询单条记录耗时：8×3600/12万＝0.24秒，也是在合理的
    
22. 
    
23. 范围。
    
24. 同时主机数据库在业务高峰期时可以支持500－600用户同时登陆（telnet方式）。
    
25. 
    
26. 以上
    
27. 说明性能瓶颈不在主机，数据库上。
    
28. 
    
29. 结论：以上所有都合情合理，采用单进程方式无法进一步提高性能。为提高速度，
    
30. 
    
31. 只能
    
32. 采用多进程。
    
33. 
    
34. 
    
35. 快速构造原型:
    
36. 
    
37. 原型一：
    
38. #!/usr/bin/perl
    
39. 
    
40. my $maxchild=20;
    
41. foreach $item (1..500) {
    
42.         while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };
    
43.         if ($PID=fork()){
    
44.                 print "Starting Sub_Process:$PID\n";
    
45.         } else {
    
46.                 print "I will handle data:$item\n";
    
47.                 sleep 1;
    
48.                 exit 1;
    
49.         };
    
50. }
    
51. 
    
52. 执行以上，正常，子进程控制在20。
    
53. 
    
54. 以上述脚本为基础，添加数据库部分：
    
55. 
    
56. #!/usr/bin/perl
    
57. 
    
58. use DBI;
    
59. 
    
60. 
    
61. my $dbh=DBI->connect(...);
    
62. my $sth=$dbh->prepare(qq/select * from A/);
    
63. $sth->execute();
    
64. $sth->bind_column(undef,.....);
    
65. 
    
66. while ($sth->fetch()) {
    
67.         while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };
    
68.         if ($PID=fork()) {
    
69.                 print "Starting Sub_Process:$PID\n";
    
70.         } else {
    
71.                 query(B,C,D);                #执行数据库操作
    
72.                 insert(E);
    
73.                 exit 1;
    
74.         }
    
75. }
    
76. $sth->finish();
    
77. $dbh->disconnect();
    
78. 
    
79. 确保无语法错误，执行。处理一两条数据后脚本报错，中断。具体错误略。
    
80. 
    
81. 分析：程序框架没错，但是在fork子进程时，$dbh同时被子进程继承，导致该数据
    
82. 
    
83. 库连接反复使用。
    
84. 由于数据库底层的某种原因，对该种操作是不允许的。结论：以上简单的多进程方
    
85. 
    
86. 式不可行。数据库
    
87. 连接部分必须同 fork 分离。
    
88. 
    
89. ######################################
    
90. 
    
91. 考虑很久，设计如下原型：将打开A表的cursor单独提出，结果传给另外一个进程
    
92. 
    
93. 。
    
94. 12万数据较大，作为参数传递似乎不妥，考虑利用管道通信。
    
95. 
    
96. 
    
97. 
    
98. 原型二：
    
99. ############################
    
100. 
     
101. 分成  getdata，setdata两个程序。首先建立管道 : mknod data.pipe p
     
102. 
     
103. cat getdata:
     
104. 
     
105. #!/usr/bin/perl
     
106. 
     
107. use DBI;
     
108. open(DATAPIPE,">./data.pipe") or die "$!\n";
     
109. 
     
110. my $dbh=DBI->connect(...);
     
111. my $sth=$dbh->prepare(qq/select * from A/);
     
112. $sth->execute();
     
113. $sth->bind_column(undef,.....);
     
114. 
     
115. while ($sth->fetch()) {
     
116.         print DATAPIPE data.....;
     
117. }
     
118. close(DATAPIPE);
     
119. 
     
120. ######################
     
121. 
     
122. cat setdata:
     
123. 
     
124. #!/usr/bin/perl
     
125. use DBI;
     
126. open(DATAPIPE,"<./data.pipe") or die "$!\n";
     
127. 
     
128. my $pipecount=0;
     
129. my $maxlines=2000;
     
130. my @lines=();
     
131. 
     
132. while($record=<DATAPIPE>) {
     
133.         $pipecount++;
     
134.         push @lines,$record;
     
135. 
     
136.         unless ($pipecount % $maxlines) {
     
137.                 if ($PID=fork()){
     
138.                         print "Starting Sub_Process:$PID\n";
     
139.                         @lines=();
     
140.                 }else{
     
141.                         my $dbh=DBI->connect(...);
     
142.                         foreach (@lines) {
     
143.                                 handle_data($_);
     
144.                         }
     
145.                         $dbh->disconnect();
     
146.                         exit 1;
     
147.                 }
     
148.         }
     
149. }
     
150. 
     
151. my $dbh=DBI->connect(...);
     
152. foreach (@lines) {
     
153.         handle_data($_);
     
154. }
     
155. 
     
156. $dbh->disconnect();
     
157. 
     
158. 以上脚本运行正常，执行时启动：12万/$maxlines= 60个子进程。
     
159. 处理完所有数据耗时在 10分钟左右，效率提高几十倍。
     
160. 
     

复制代码

redspider

顶

x11

这么大规模的应用也是perl的范围么

horsley

该脚本只是定期执行，使用并不频繁。

perl语言使用越久，越感到功能强大。
感觉没有它完成不了的任务。

月风

没看你关联其他表和插入新表呢？

horsley

数据库操作并不是关键，就是一般的sql语句。
我这里只是想探讨一下多进程编程的模式框架。

tsingson

程序思路相当不错， perlchina 收入啦

horsley

将原有程序修改一下，两个合成一个，也不用另外建管道了。
程序没测过，应该没问题

1. 
   
2. 
   
3. #!/usr/bin/perl
   
4. 
   
5. use DBI;
   
6. 
   
7. pipe(PIPE_READ,PIPE_WRITE) or die "Can't make pipe!\n";
   
8. 
   
9. unless ($pid = fork) {
   
10.    defined $pid or die "can't fork:$!\n";
    
11.    close(PIPE_READ);
    
12. 
    
13.    my $dbh=DBI->connect(...);
    
14.    my $sth=$dbh->prepare(qq/select * from A/);
    
15.    $sth->execute(); $sth->bind_column(undef,.....);
    
16.    while ($sth->fetch()) { print PIPE_WRITE data.....;}
    
17.    $dbh->disconnect();
    
18.    exit;
    
19. }
    
20. 
    
21. $SIG{CHLD} = sub { waitpid($pid,0) };
    
22. 
    
23. close(PIPE_WRITE);
    
24. 
    
25. my $pipecount=0;
    
26. my $maxlines=2000;
    
27. my @lines=();
    
28. 
    
29. while($record=<PIPE_READ>) {
    
30.    $pipecount++;
    
31.    push @lines,$record;
    
32.    unless ($pipecount % $maxlines) {
    
33.         if ($PID=fork()){
    
34.                print "Starting Sub_Process:$PID\n";
    
35.                @lines=();
    
36.         }else{
    
37.                my $dbh=DBI->connect(...);
    
38.                foreach (@lines) { handle_data($_);}
    
39.                $dbh->disconnect();
    
40.          }
    
41.                exit 1;
    
42.         }
    
43.    }
    
44. }
    
45. 
    
46. my $dbh=DBI->connect(...);
    
47. foreach (@lines) {handle_data($_);}
    
48. $dbh->disconnect();
    
49. 
    
50. 
    

复制代码

horsley

谢谢 tsingson 支持。
本来我要在 perlchina.org 发的，
不过以前发贴时感觉好像不正常。