非同期処理の通知処理 with Tatsumaki

非同期処理の通知処理with Tatsumaki 笑いあり、涙あり、萌えあり、ポロリありの20分間 SlideShare版ではうまく変換できないため、20枚に及ぶネタ的部分をカットしました。微妙に意味が通らない記述があったらごめんなさい。全体の雰囲気はいずれ公式に公開されるであろう動画版でお楽しみください。 keroyonn / Hokkaido.pm YAPC::Asia 2010

自己紹介 WEB系プログラマ in Sapporo 仕事のメイン：Flex/ExtJS 趣味のメイン：C# + WPF サーバーサイド: Perl ちょっとずつ違う素敵なID達 cpan : keroyonhttp://search.cpan.org/~keroyon/ github : keroyonnhttp://github.com/keroyonn twitter : keroyonn_http://twitter.com/keroyonn_ hatena :keroyon0630http://d.hatena.ne.jp/keroyon0630 YAPC::Asia 2010

今日のお題 WEB越しにガンガン登録される重いタスクをリアルタイムに待ち時間を感じさせずにリソースを食い潰されないように処理するにはどうすればいいか対象者: 非同期サーバーとか触ったことない方 (Plack自体を触ったことなくてもギリギリOK) 自分はバリバリだけど、初心者にうまいこと説明するの難しいなと思ってる方ポロリを見たい方 YAPC::Asia 2010

第1話：みんな大好きCGI クライアントの非同期化にチャレンジする YAPC::Asia 2010

ブロッキング && ストリーミング with CGI YAPC::Asia 2010 ■その1 ブロッキング、ストリーミングとはその2Hello World ストリーミング with CGI その3 クライアント側を非同期化してみる

その１:ブロッキング、ストリーミングとはクライアントブロッキング : Ajax とか使わないので、UIがブロックされる (同期処理) ボタンが反応しなくて全部固まるよ! ストリーミング : 何らかのフォーマットでデータを読み取り続ける(切断しない) Flash -> XMLSocket Ajax -> multipart/mixed サーバーブロッキング : プロセス数 = 同時接続数 (preforkなら) (同期処理) サーバープロセスひとつで同時に1リクエストまでしかさばけないよストリーミング : データを流し続ける or 特定のイベントでデータを流す YAPC::Asia 2010

ブロッキング && ストリーミング with CGI YAPC::Asia 2010 その1 ブロッキング、ストリーミングとは ■その2Hello World ストリーミング with CGI その3 クライアント側を非同期化してみる

その2 : HelloWorldストリーミング with CGI ソースコード #!perl $| = 1; print "Content-Type: text/html"; for (1..5) { print "<h2>Hello world!</h2>"; sleep 1; } 結果 hello hello …5回繰り返す… YAPC::Asia 2010

ブロッキング && ストリーミング with CGI YAPC::Asia 2010 その1 ブロッキング、ストリーミングとはその2Hello World ストリーミング with CGI ■その3 クライアント側を非同期化してみる

一つ目:long-polling タイムアウトを長めに取って、XHRする。成功か失敗時にまたXHRするだけ。 <html> <head> <title>long-polling 1</title> <script type="text/javascript" src="./js/jquery-1.3.2.min.js"></script> <script> $(function connect() { $.ajax({ type : 'GET', dataType : 'html', url : '/yapc2010/hello_cgi_1.cgi', timeout : 30000, success : function(result) { $(‘#message’).append(result); /* なんか処理 */ }, complete : function() { setTimeout(connect, 100); /* 接続 or タイムアウトで再接続 */} }); }); </script> </head> <body> <h1>long-polling その1</h1> <div id="message"/> </body> </html> ちゃんとした例は、jquery.ev.jsを見てください。 YAPC::Asia 2010

結果 Hello World '1‘ Hello World '2‘ Hello World '3‘ Hello World '4‘ Hello World '5‘ --- ここまでが4秒後にドバっと出てくる Hello World '1‘ Hello World '2‘ Hello World '3‘ Hello World '4‘ Hello World '5‘ --- ここまでが4秒後にドバっと出てくる以降繰り返し YAPC::Asia 2010

HelloWorldストリーミング with CGI (long-polling 対応版) #!perl open my $fh, '<', 'counter.txt'; my $count = <$fh>; close $fh; $count++; open my $fh, '>', 'counter.txt'; print $fh $count; close $fh; print "Content-Type: text/html"; print "<h2>Hello World '$count'</h2>"; YAPC::Asia 2010

結果クライアント毎に見える数値が全て変る。対策クライアント毎に固有のFIFOなキューを作って、「Hello」を書き込む。そして接続される度にFlushする。 ※ Tatsumaki::MessageQueueを使うと各クライアント毎に、次の接続時に出力すべきメッセージ」を管理してくれる Aさんは次Hello5、Bさんは次Hello3とか。毎回接続が切れているけれど、ストリーミングと言えるのか。ほぼリアルタイムに取得できるが再接続の時間でやや遅くなる -> 更新頻度が少なければ分からない YAPC::Asia 2010

二つ目:multipart/mixed バウンダリで複数のContent-Type を区切った専用フォーマットでレスポンスを返す実際のフォーマット例 HTTP/1.0 200 OK Content-Type: multipart/mixed; boundary="ABC" --ABC Content-Type: text/html <h2>Hello World '1'</h2> --ABC Content-Type: text/html <h2>Hello World '2'</h2> --ABC Content-Type: text/html <h2>Hello World '3'</h2> --ABC YAPC::Asia 2010

サーバー側を multipart/mixed 対応にしてみる #!perl $|=1; print qq{Content-Type: multipart/mixed; boundary="ABC"}; print "--ABC"; for (1..5) { print "Content-Type: text/html"; print "<h2>Hello World '$_'</h2>"; print "--ABC"; sleep 1; } YAPC::Asia 2010

クライアント側を DUI.jsで処理する XHRで multipart/mixed を読み込んでくれる <html> <head> <title>multipart/mixed</title> <script type="text/javascript" src="./js/jquery-1.3.2.min.js"></script> <script type="text/javascript" src="./js/DUI.js"></script> <script type="text/javascript" src="./js/Stream.js"></script> <script> $(function (){ var s = new DUI.Stream(); s.listen(‘text/html’, function (result) { // Content-Typeがhtmlのものを取得してresultへ onNewData(result); }); s.load('/yapc2010/hello_cgi_3.cgi'); }); function onNewData(data) { $(‘#message’).append(data); // 適当に出力してみる } </script> </head> <body> <h1>multipart/mixed</h1> <div id="message"/> </body> </html> YAPC::Asia 2010

結論ストリーミングは C10K 問題の影響を受けすぎるアクセス数と頻度 :10分間で1,000アクセスあり、平均して散らばっているプロセスサイズ : 30メガとする通常処理時間 : 1リクエスト/秒プロセス数 : 16 メモリ使用量 : 16プロセス × 30M = 480M ストリーミング処理時間 : 1リクエスト/10分プロセス数 : 1,000(60倍以上) メモリ使用量 : 1,000プロセス × 30M = 3テラ! YAPC::Asia 2010

第2話：「PSGI/Plack ストリーミング」サーバーの非同期化にチャレンジする YAPC::Asia 2010

ノンブロッキング && ストリーミングwith PSGI/Plack YAPC::Asia 2010 ■その1 ノンブロッキング、ストリーミングとはその2PSGI/Plack のおさらいその3 PSGI/Plack ストリーミング仕様

ノンブロッキング && ストリーミング with PSGI/Plack サーバーノンブロッキング 1プロセス && 1スレッドで、同時接続数いくらでも = 省メモリストリーミング : データを流し続ける or 特定のイベントでデータを流す YAPC::Asia 2010

ノンブロッキング && ストリーミングwith PSGI/Plack YAPC::Asia 2010 その1 ノンブロッキング、ストリーミングとは ■その2PSGI/Plack のおさらいその3 PSGI/Plack ストリーミング仕様

Plack おさらいその1:Hello PSGI/Plack ソースコード(簡略版) これじゃ、何だか分からない hello.psgi sub { [ 200, ['Content-Type' => 'text/html'], ['<h2>Hello world Plack!</h2>'], ] } ソースコード(冗長版) でも、これ以上分かりやすくもならない hello.psgi my $your_psgi_app = sub { ← PSGIアプリはコードリファレンス my $response = [ 200, ['Content-Type' => 'text/html'], ['<h2>Hello world Plack!</h2>'], ]; return $response; }; $your_psgi_app; ← do でファイルが読み込まれるため、最後に評価された式が返る YAPC::Asia 2010

Plack おさらいその2:Plack のクラス関係 YAPC::Asia 2010

Plack おさらいその3:HTTP::Server::PSGI コード解説基本: 接続を待受 -> アプリ実行 -> 配列書き出し 1. accept_loop接続待受 sub accept_loop { if (my $conn = $self->{listen_sock}->accept) { $self->handle_connection($env, $conn, $app); } } 2. handle_connection “Your Plack Application” を実行 -> 配列に。 sub handle_connection { my($self, $env, $conn, $app) = @_; $res = Plack::Util::run_app $app, $env; $self->_handle_response($res, $conn); } YAPC::Asia 2010

Plack おさらいその3:HTTP::Server::PSGI コード解説 3. _handle_response配列を書き出し sub _handle_response { my($self, $res, $conn) = @_; Plack::Util::header_iter($res->[1], sub { my ($k, $v) = @_; push @lines, "$k: $v1512"; }); unshift @lines, "HTTP/1.0 $res->[0] @{[ HTTP::Status::status_message($res->[0]) ]}1512“ $self->write_all($conn, join('', @lines), $self->{timeout}) if (defined $res->[2]) { Plack::Util::foreach( $res->[2], sub { $self->write_all($conn, $_[0], $self->{timeout}) }, ); } } YAPC::Asia 2010

ノンブロッキング && ストリーミングwith PSGI/Plack YAPC::Asia 2010 その1 ノンブロッキング、ストリーミングとはその2PSGI/Plack のおさらい ■その3 PSGI/Plack ストリーミング仕様

Hello World PSGI/Plackストリーミング use Plack::Middleware::Static; use AnyEvent; my $your_psgi_app = sub { # コードリファレンスを作って my $env = shift; my $your_streaming_app = sub { # コードリファレンスを作って my ($responder) = @_; # コードリファレンスを受け取る # Twiggy::Writer を取得 my $writer = $responder->([ 200, [ 'Content-Type' => 'multipart/mixed; boundary="ABC"' ] ]); my $counter = 1; $writer->write("--ABC"); my $timer;$timer = AE::timer 0, 0.5, sub {# 0.5 秒おきに HelloWorld $writer->write("Content-Type: text/html"); $writer->write(“<h2>Hello World ‘${counter}’</h2>”);#Twiggy::Writer->write を実行 $writer->write("--ABC"); if ( ++$counter > 5 ) {undef $timer;} }; }; return $your_streaming_app; # 返す }; $your_psgi_app = Plack::Middleware::Static->wrap( $your_psgi_app, path => sub { s{^/static/}{} }, root => ‘./htdocs/’); $your_psgi_app; # 返す YAPC::Asia 2010

PSGI/Plackストリーミングのクラス関係 YAPC::Asia 2010

Twiggy のコード解説 #1 1. _create_tcp_servertcpサーバーを生成 sub _create_tcp_server { return tcp_server $host, $port, $self->_accept_handler($app, $is_tcp), $self->_accept_prepare_handler; } ポイント: AnyEvent::Socket::tcp_serverは非同期。 2. _accecpt_handler _run_appを実行 sub _accept_handler { my ( $self, $app, $is_tcp ) = @_; return sub { my ( $sock, $peer_host, $peer_port ) = @_; $self->_run_app($app, $env, $sock); }; } ポイント: _run_appを実行するだけ。 YAPC::Asia 2010

Twiggy のコード解説 #2 3. _run_appアプリを実行 sub _run_app { my($self, $app, $env, $sock) = @_; my $res = Plack::Util::run_app $app, $env; if ( ref $res eq 'ARRAY' ) { # 配列リファレンスなら通常通り $self->_write_psgi_response($sock, $res); } elsif ( ref $res eq 'CODE' ) { $res->( # コードなら、以下の関数を渡して実行 sub { my $res = shift; if ( @$res == 2 ) { # 実行結果の配列要素数が2 my ( $status, $headers ) = @$res; my $writer = Twiggy::Writer->new($sock, $self->{exit_guard}); my $buf = $self->_format_headers($status, $headers); $writer->write($$buf);# 非同期にヘッダだけ書き込んで、Twiggy::Writer を返却 return $writer; } else { # 実行結果の配列要素数が3つか4つ my ( $status, $headers, $body, $post ) = @$res; my $cv = $self->_write_psgi_response($sock, [ $status, $headers, $body ]); $cv->cb(sub { $post->() }) if $post; } } ); } } YAPC::Asia 2010 ポイント:ここまでの間、IOは非同期しか使ってない

大量のアクセスを捌くと言われる非道鬼天皇: その強さの秘密とは？３つのひみつ究極の受け流し性能 : 自分では何もせず、右から左へ受け流す強力な3つの下僕達 : あらゆる処理を代りにこなす忠実な下僕萌え萌えな容姿 : キャラクターグッズが出るくらいの萌え YAPC::Asia 2010

大量のアクセスを捌くと言われる非道鬼天皇: その弱点とは？３つの弱点同期IO処理 : 一瞬でもブロックしてはいけない。毎回非同期IO処理を手で書くの？ CPU使う処理 : CPU処理でブロックされる場合ももちろんダメ。全部自分でforkするの？そもそも重い処理は別サーバーにしたいけど。。。書きづらい: 低レベルの処理が剥き出しになっている。いちいちディスパッチするコード書くの？ multipart/mixed をいちいち手で出力させるの？ YAPC::Asia 2010

第3話：三つの下僕に命令だ !! モジュールを利用して非同期プログラミングを実用的に行う YAPC::Asia 2010

三つの下僕その1: Tatsumakiその特徴「書きづらい」という欠点を補う非同期WEBアプリケーションフレームワークディスパッチ処理 multipart/mixed の自動生成 staticファイル配信メッセージキュー YAPC::Asia 2010

三つの下僕その1: TatsumakiHello World ストリーミング with Tatsumaki package Hello; use base ‘Tatsumaki::Handler’; # Tatsumaki::Handler を継承 use AnyEvent; use Tatsumaki::Application; __PACKAGE__->asynchronous(1); # 非同期モードに設定 sub get {# リクエストメソッドに応じて自動実行 my ( $self, $arg ) = @_; $self->multipart_xhr_push(1); # 自動でバウンダリなどを生成する my $counter = 1; my $timer; $timer = AE::timer 0, 0.5, sub { # リファレンスを渡すと自動でJSONにエンコードして書き込む $self->stream_write( { message => "<h2>Hello World ${counter}</h2>" } ); if ( ++$counter > 5 ) { undef $timer; $self->finish; } }; } my $your_tatsumaki_app = Tatsumaki::Application->new( [ ‘/’ => ‘Hello’ ] );# ディスパッチも簡単 $your_tatsumaki_app->static_path(‘./htdocs/’);# 静的ファイルも配信 $your_tatsumaki_app;# いつも通りPSGIアプリを返そう。コードリファレンスの中でコードリファレンスを返して、その中で受け取ったコードリファレンスに配列を渡して実行…をやってくれる YAPC::Asia 2010

三つの下僕その1: Tatsumakiまとめ Tatsumaki::Application 複数のハンドラをディスパッチ static_path メソッドで静的コンテンツ配信 Tatsumaki::Handler リクエストメソッドに対応して get/post 関数を実行してくれる multipart/mixed を自動で作成してくれるリファレンスを書き出すと、自動でJSONにエンコードしてくれる Tatsumaki::MessageQueue 各クライアント毎に、「次の接続時に出力すべきメッセージ」を管理してくれる ※今回は説明しません。 YAPC::Asia 2010

三つの下僕その2: Gearmanその特徴重いCPU処理が苦手という欠点を補うジョブキューサーバー登録しておいて後でゆっくりではなく、即時に処理してくれる処理の進捗状態をクライアントに伝えることができるワーカー: サーバーにジョブ名を登録する。タスク(コードリファレンス)をジョブ名に紐付けておくサーバーからジョブと引数を取って来て、実行するサーバー : クライアントから依頼された仕事をキューに溜めておくワーカーから問合せがあったら、キューからジョブと引数を取ってきて渡すクライアント : サーバーにジョブ名と引数を渡して処理を依頼する YAPC::Asia 2010 ジョブ取得ジョブ登録結果ジョブ依頼結果

三つの下僕その2: Gearmanデモ 1. ワーカーから CAN_DO(1) パケットを送って、HELLO というジョブを処理できるよ! とサーバーに教える perl -e 'print "REQ" . pack("NN", 1, 5) . "HELLO"' | nc 0 4730 status :HELLO 0 0 1 2. クライアントから SUBMIT_JOB(7) パケットを送って、HELLO(xxx) というジョブを処理してね! とサーバーに伝えて、キューイングしてもらう perl -e 'print "REQ" . pack("NN", 7, 10) . "HELLOxxx"' | nc 0 4730 status : HELLO 1 0 1 3. ワーカーから GRAB_JOB(9) 自分の処理できるジョブを頂戴! とサーバーに伝えて、ジョブ名 HELLO と、引数 xxx をサーバーから受け取る perl -e 'print "REQ" . pack("NN", 9, 5) . "HELLO"' | nc 0 4730 ※CAN_DOをしたのと別接続になっちゃっているので、NO_JOB というのが返ってくる YAPC::Asia 2010

三つの下僕その2: GearmanHello World with Gearman ジョブを定義するジョブクラス: MyJobs.pm hello を秒間1回、計5回出力する。job_* で始まる単なる関数 package MyJobs; subjob_hello { my $job = shift; my $arg = $job->arg; # クライアントが設定した引数 for (1..5) { print "hello $arg $_"; sleep 1; $job->set_status($_, 5); # 進捗ステータスを更新 } return “finished:$arg”;　# 完了したらリターン } 1; YAPC::Asia 2010

三つの下僕その2: Gearmanワーカーサーバー #1 use strict; use warnings; use Gearman::Worker;# 同期式ワーカーライブラリ use Getopt::Long; use Parallel::Prefork; use Pod::Usage; use UNIVERSAL::require; use Class::Inspector; use Data::Dumper; my $max_workers = 10; GetOptions( 's|server=s@‘ => y $servers, 'prefix=s‘ => y $prefix, 'max-workers=i‘ => max_workers, 'h|help‘ => y $help, ) or pod2usage(); pod2usage() unless $servers && @$servers; pod2usage() if $help; YAPC::Asia 2010

三つの下僕その2: Gearmanワーカーサーバー #2 my $worker = Gearman::Worker->new(); $worker->job_servers(@$servers); #サーバーのIPを登録する $worker->prefix($prefix) if $prefix; for my $klass (@ARGV) { $klass->use or die $@; my @jobs = grep /^job_/, @{ Class::Inspector->functions($klass) }; for my $job (@jobs) { ( my $job_name = $job ) =~ s/^job_//; # ジョブを登録する $worker->register_function( $job_name, $klass->can($job) ); } } YAPC::Asia 2010

三つの下僕その2: Gearmanワーカーサーバー #3 my $pm = Parallel::Prefork->new({ max_workers => $max_workers, trap_signals => { TERM => 'TERM', HUP => 'TERM', USR1 => undef, }, }); while ( $pm->signal_received ne 'TERM' ) { $pm->start and next; $worker->work; # ジョブを実行する $pm->finish; } $pm->wait_all_children(); YAPC::Asia 2010

三つの下僕その2: Gearmanクライアント use AnyEvent::Gearman; # 非同期クライアントライブラリ my $cv = AE::cv; my $client = gearman_client '127.0.0.1:4730'; for (1..10) { $cv->begin; $client->add_task( hello => “[$_]”, # ジョブ名 => 引数 on_complete => sub { # ジョブの戻り値を受け取ることができる my $result = $_[1]; print "complete => $result"; $cv->end; }, on_status => sub { # ジョブの進捗状況を受け取ることができる my ($self, $n, $d) = @_; print "status => $n:$d"; }, ); } $cv->recv; # タスクの終了を待ち受ける必要がある YAPC::Asia 2010

三つの下僕その2: Gearmanデモジョブを10個投入してみるこの HelloWorldGearman は1ジョブで5秒かかる従ってワーカーの並列数を10個にすると、5秒かかるワーカーの並列数を5個にすると、10秒かかる YAPC::Asia 2010

三つの下僕その2: Gearmanまとめワーカー手動でたくさん立ち上げるのは管理が面倒なので、スタートアップ用のスクリプトを作っておくとよい register_functionでジョブを登録し、コードリファレンスと紐付ける workでジョブをグラブして実行するクライアントクライアント側(Tatsumaki)は、非同期とした方がよいため、 AnyEvent::Gearmanを使う。ワーカー側はその限りではない add_taskで、ジョブをキューイングし、ハンドラで終了を待ち受ける AnyEventのループを回す必要 YAPC::Asia 2010

三つの下僕その3: WebService::Asyncその特徴非同期IO処理を毎回手で書かなくちゃいけないという欠点を補うためのモジュール ※ 三つないと“ごろ”が悪いので作った。じゃないと、三つの下僕にならないじゃん。 Tatsumaki::HTTPClient にはない各種の機能非同期であるにも関わらず、WebService::Simple ばりに簡単キャッシングレスポンスのパースレスポンスの変換(Text::MicroTemplate でXMLにするとか) リトライ処理詳細なロギング結果はコールバックとしても、戻り値としても処理可能複数のリクエストとレスポンスの対応付けを柔軟に処理可能柔軟にカスタマイズ可能 YAPC::Asia 2010

三つの下僕その3: WebService::Async使い方 use WebService::Async; use WebService::Async::Parser::JSON; my $wa = WebService::Async->new( base_url => 'http://ajax.googleapis.com/ajax/services/language/translate', param => { v => '1.0', langpair => 'en|it' }, response_parser => WebService::Async::Parser::JSON->new, # パーサーはJSON on_done => sub { # ひとつのリクエストが完了 my ($service, $id, $res, $req) = @_; print $req->param->{'q'} . " => "; print "$res->{responseData}->{translatedText}"; }, ); $wa->add_get( q => 'apple' ); $wa->add_get( q => 'orange' ); $wa->add_get( q => 'banana', langpair => 'en|fr' ); $wa->send_request; #パラレルにリクエストを発行結果 orange => arancione banana => la banane apple => mela YAPC::Asia 2010

最終話： Flex でサービスを構築するには例. 「ぶつぶつの森～ぶつぶつ交換で始まる愛もある」リアル知人をターゲットにした所有メディア登録->飲み会予約->ぶつぶつ交換システム YAPC::Asia 2010

「ぶつぶつの森」：要件など要件(抜粋) 会員の所有物(主に書籍、音楽などのメディア)をカタログ化してPC、携帯、印刷物上で見られるようにする。デジタル書籍/音楽に関してはファイル名一覧を送ると、Amazon、楽天、Wikipedia などをマッシュアップしてカタログ化するユーザー登録時に一括で所有書籍を登録してもらう処理中には処理が完了したものから随時一覧を表示し、クリックで詳細に飛べるようにする処理が完了すると、zip 圧縮されたカタログ(PDFなど)がダウンロード可能となる設計複数ファイルを選択してファイル名を送信する必要がある -> Flash(Flex/Air) 処理結果をリアルタイムでクライアントに送る必要がある -> XMLSocketによるストリーミング (例えば)HTMLを生成してZIP圧縮する必要があるためCPUを消費する -> Gearman による分散処理実装のポイントソケットポリシーファイルのサーバが必要 Flex側はHTTPのヘッダを自前で生成/解析する Tatsumaki側は、XMLSocketを作ってはくれない。自前でXMLにしてヌルバイトを付加する必要。 Gearman のキューイングされている待ちタスクの数を取得するワーカー側での set_statusによるローディングの表現 YAPC::Asia 2010

「ぶつぶつの森」：全体の仕組み YAPC::Asia 2010 Twiggy/Tatsumaki Gearmanクライアント [AnyEvent::Gearman] Gearman サーバー Flash(Flex/Air) ・ファイル一覧取得 (FileReferenceList) ・ヘッダ生成・レスポンス解析・ローディング表示 on_complete on_data on_status DB 1 2 3 4 5 6 7 ファイル選択一覧表処理1 処理2 待ち1 待ち2 処理3 待ち3 Gearmanワーカー [Gearman::Worker] set_status return 処理中ローディングを提供処理待ち(キュー) 待ちの数を提供 1 2 3

「ぶつぶつの森」実装その1：サーバ設置とリクエスト生成(Flex) ソケットポリシーファイルサーバの設置 $ cpanm AnyEvent::FlashSocketPolicy $ su - % flash-socket-policy-server --domain-policy=master-only br />--domain='*' br />--to-ports=500 ※843番ポートで起動されます。 XMLSocket はXHRのような同一ドメイン、同一ポートの制限はない。代りに、ソケットポリシーサーバが必要データ通信する前に必ずポリシーサーバからファイルを受け取る必要があるため、結構な回数の通信が行われる Flex 側からリクエストするリクエストヘッダを自分で作ればOK -Connect.as- public function connect():void { var socket:XMLSocket = new XMLSocket; socket.addEventListener(DataEvent.DATA, onData); socket.connect(‘192.168.1.100’, 5000);// ポリシーファイルサーバがないとセキュリティエラー var parameter:String = …パラメータ生成…; socket.send(‘GET ’ + parameter + ‘ HTTP/1.0’);// リクエストヘッダを生成 } YAPC::Asia 2010

「ぶつぶつの森」実装その2：TatsumakiでXMLSocketを書き込む XMLSocketの特徴ヘッダ: HTTPではない。HTTPで送ってもFlash側で自動解析してくれないボディ: 何を送ってもOK。HTTPヘッダをつけて、自前で解析するのもありバウンダリ: ヌルバイト”” 実装例 WebService::Async::Google::TranslateV1_0 にサンプルがある Text::MicroTemplateでレスポンスをXMLSocket形式に変換しているこれを stream_writeすればOK ?= Text::MicroTemplate::encoded_string ‘<?xml version=“1.0” encoding=“UTF-8”?>’ ? My ($id, $lang, $message) = @_ <result id=“<?= $id ?>”> <translated lang=“<?= $lang ?>”><?= $message ?></translated> </result> ?= ““ ← ここ!! YAPC::Asia 2010

「ぶつぶつの森」実装その3：Flexでレスポンスを解析する -Connect.as- private function onData(event:DataEvent):void { var data:String = event.data; if (!(/^*<[?]xml/).test(data)) { var headerResult:Object = (/^(.*)<[?]xml/xms).exec(data); var header:String = headerResult[1]; var statusResult:Object = (/HTTP[.][ ]({3})[ ]+/xms).exec(header); var statusCode:String = statusResult[1]; if (statusCode !== '200') { // 例外 } var bodyResult:Object = (/(<[?]xml.*)/xms).exec(data); var body:String = bodyResult[1]; data = body; } var resultXML:XML = new XML(data); // コールバック処理 // 例. callback(resultXML); } YAPC::Asia 2010 正規表現でパースするだけ

「ぶつぶつの森」実装その4：Flexでローディングを表示するプログレスバー <mx:ProgressBar xmlns:mx=http://www.adobe.com/2006/mxml id=“progress” indeterminate="false" label=“貸出表を生成中: %3%%" mode="polled"/> 接続クラス get bytesLoaded とget bytesTotal を実装しておく -Connect.as- public function get bytesLoaded():Number { return _finishedRequests; // 完了したリクエスト数 } public function get bytesTotal():Number { return _numOfRequests;// 全リクエスト数 } メインクラス var con:Connect = new Connect(); progress.source = con; YAPC::Asia 2010 タスクの量が分かっていれば、interminate=“false” mode=“polled “で、bytesLoaded/bytesTotal メソッドを見て自動で進捗表示してくれる

まとめクライアントから無茶ぶりされても PSGI/Plack Streaming ＋ Tatsumaki + gearman + WebService::Async で大丈夫！ Let’s Challenge!!! YAPC::Asia 2010

ご清聴ありがとうございました YAPC::Asia 2010

非同期処理の通知処理 with Tatsumaki

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (19)

Similaire à 非同期処理の通知処理 with Tatsumaki

Similaire à 非同期処理の通知処理 with Tatsumaki (20)

Plus de keroyonn

Plus de keroyonn (6)

非同期処理の通知処理 with Tatsumaki