メモ代わり。てきとーに。 いや、ですからてきとーですって。 2年前ぐらいにPythonあたりでメールくれた方、ごめんなさい。メール紛失してしまい無視した形になってしまいました。。。

2008年5月9日金曜日

[libmemcahced][mod_chxj] apr_memcacheを廃止

0.12.0(svn)でlibmemcachedを使って早速apr_memcacheを廃止してみた。

10000、20000リクエスト投げてみたところ取りこぼしなし。
速度もapr_memcacheと変わらない。

うーむ。
とってもいい感じ。

ということで、configureのオプションを変えました。
revokeしたオプションは、

  • --with-apr-memcache-header
  • --with-apr_memcahce-lib-dir
で、追加したオプションは、
  • --with-memcached-header
  • --with-memcached-lib-dir
の2つ。
configureに探させようかと思ったが、それはまた今度。

で、実際に使う手順は以下のとおり。
http://tangent.org/552/libmemcached.htmlから、libmemcachedを取得する。

$ wget http://download.tangent.org/libmemcached-0.20.tar.gz
 

libmemcachedをコンパイル&インストール

$ tar xvzf libmemcached-0.20.tar.gz
$ cd libmemcached-0.20
$ ./configure
$ make
$ sudo make install
 


mod_chxjのコンパイル&インストール

$ ./configure --enable-memcache-cookie \
--with-memcached-header=/usr/local/include/libmemcached \
--with-memcached-lib-dir=/usr/local/lib
$ make
$ sudo make install
 


で完了。


.

[libmemcached] libmemcachedを使ってみる

libmemcacheは開発終了とのことで、libmemcachedを使ってみることに。

教えてもらった
http://alpha.mixi.co.jp/blog/?p=119
を読破。

まず、http://tangent.org/552/libmemcached.html
からlibmemcachedをダウンロードっす。
現行0.20が最新かもしれません。

そしたら、展開。


$ tar xvzf libmemcached-0.20.tar.gz
 

で、configure。

$ cd libmemcached-0.20
$ ./configure
 

で、make。

$ make
 


へー。
libmemcachedではマニュアルをpodで書いてるんだー。
libmemcacheよりもドキュメントがそろってそうな。
というのは置いといて、

インストール。

$ sudo make install
 

インストール完了。
念のため、

# ldconfig
 

も。


早速へぼいプログラムを作ってみる。
やりたいことは、
  • set
  • get
  • delete
  • add
の4点。
libmemcachedではマスターキーという概念があるようだが、とりあえずはほっておく。
で、1つづつやってみる。
と、その前に、

$ man 3 libmemcached_examples
 

を見る。

memcachedと通信するためには、まずmemcached_stなる構造体を
用意しなくちゃならない。この構造体は使った後には解放する。
なので、大きな流れとしては以下な感じ。
  1. memcached_st *memc;  
  2. memcached_return rc;  
  3.   
  4. memc = memcached_create(NULL);  
  5.   
  6. /* ここら辺でなんかする */  
  7.   
  8. memcached_free(memc);  


サーバへのつなぎ方は以下な感じ。
まず、memcached_server_st構造体にmemcached_server_list_append関数を使って
接続するサーバを追加する。
追加し終わったら、そのmemcached_server_st構造体をmemcached_stへmemcached_server_push関数を使ってpush。
使い終わったら、memcached_server_stは解放する。
  1. memcached_server_st *servers;  
  2. memcached_st *memc;  
  3. memcached_return rc;  
  4.   
  5. /* memcached_st生成 */  
  6. memc = memcached_create(NULL);  
  7.   
  8. /* サーバリスト生成 
  9.   * server名=192.168.1.250 
  10.   * ポート番号=11211 
  11.   */  
  12. servers = memcached_server_list_append(NULL, "192.168.1.250", 11211, &rc);  
  13. /* サーバリスト生成 
  14.   * server名=192.168.1.250 
  15.   * ポート番号=11212 
  16.   */  
  17. servers = memcached_server_list_append(servers, "192.168.1.250", 11212, &rc);  
  18.   
  19. /* memcへpush */  
  20. rc = memcached_server_push(memc, servers);  
  21.   
  22. /* memcached_server_st解放 */  
  23. /* man 3 libmemcached_examplesだとmemcahced_server_free()と書いてある */  
  24. memcached_server_list_free(servers);  



ということでプログラムを早速作ってみる。
値をセットするだけのへぼいプログラム
  1. /* 
  2. * gcc -o mset mset.c -I/usr/local/include -lmemcached 
  3. */  
  4. #include <libmemcached/memcached.h>  
  5. #include <string.h>  
  6. #include <stdio.h>  
  7.   
  8.   
  9. static void usage(char *argv[]);  
  10.   
  11. int  
  12. main(int argc, char *argv[])  
  13. {  
  14.  memcached_st *memc;  
  15.  memcached_server_st *servers;  
  16.  memcached_return rc;  
  17.   
  18.  if (argc != 3) {  
  19.    usage(argv);  
  20.    return -1;  
  21.  }  
  22.   
  23.  /* 初期化 */  
  24.  memc = memcached_create(NULL);  
  25.  servers = memcached_server_list_append(NULL, "192.168.1.250", 11211, &rc);  
  26.  if (rc != MEMCACHED_SUCCESS) {  
  27.    fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  28.    return -2;  
  29.  }  
  30.  /* memcへserversをpush */  
  31.  rc = memcached_server_push(memc, servers);  
  32.  if (rc != MEMCACHED_SUCCESS) {  
  33.    fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  34.    return -2;  
  35.  }  
  36.  /* serversを解放 */  
  37.  memcached_server_list_free(servers);  
  38.   
  39.  rc= memcached_set(memc, argv[1], strlen(argv[1]),  
  40.                    argv[2], strlen(argv[2]),  
  41.                    (time_t)600, (uint32_t)0);  
  42.  if (rc != MEMCACHED_SUCCESS && rc != MEMCACHED_BUFFERED) {  
  43.    fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  44.    memcached_free(memc);  
  45.    return -2;  
  46.  }  
  47.  /* 解放 */  
  48.  memcached_free(memc);  
  49.  return 0;  
  50. }  
  51.   
  52.   
  53. static void  
  54. usage(char *argv[])  
  55. {  
  56.  fprintf(stderr, "Usage: %s key value\n", argv[0]);  
  57. }  
  58.    


man 3 libmemcached_examplesを見ると、memcached_server_free()と
書いてあるが、その名前のシンボルはlibmemcachedには無いようだ。
代わりにmemcached_server_list_free()を使用して解放する。

値をgetするだけのへぼいプログラム

  1. /* 
  2.  * gcc -o mget mget.c -I/usr/local/include -lmemcached 
  3.  */  
  4. #include <libmemcached/memcached.h>  
  5. #include <string.h>  
  6. #include <stdio.h>  
  7.   
  8.   
  9. static void usage(char *argv[]);  
  10.   
  11. int  
  12. main(int argc, char *argv[])  
  13. {  
  14.   memcached_st *memc;  
  15.   memcached_server_st *servers;  
  16.   memcached_return rc;  
  17.   char *value;  
  18.   size_t value_length;  
  19.   uint32_t flags;  
  20.   
  21.   if (argc != 2) {  
  22.     usage(argv);  
  23.     return -1;  
  24.   }  
  25.   
  26.   /* 初期化 */  
  27.   memc = memcached_create(NULL);  
  28.   servers = memcached_server_list_append(NULL, "192.168.1.250", 11211, &rc);  
  29.   if (rc != MEMCACHED_SUCCESS) {  
  30.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  31.     return -2;  
  32.   }  
  33.   /* memcへserversをpush */  
  34.   rc = memcached_server_push(memc, servers);  
  35.   if (rc != MEMCACHED_SUCCESS) {  
  36.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  37.     return -2;  
  38.   }  
  39.   /* serversを解放 */  
  40.   memcached_server_list_free(servers);  
  41.   
  42.   value= memcached_get(memc, argv[1], strlen(argv[1]),  
  43.                        &value_length, &flags, &rc);  
  44.   if (rc != MEMCACHED_SUCCESS) {  
  45.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  46.     memcached_free(memc);  
  47.     return -2;  
  48.   }  
  49.   /* 印字 */  
  50.   fprintf(stderr, "value:[%s]\n", value);  
  51.   free(value);  
  52.   /* 解放 */  
  53.   memcached_free(memc);  
  54.   return 0;  
  55. }  
  56.   
  57.   
  58. static void  
  59. usage(char *argv[])  
  60. {  
  61.   fprintf(stderr, "Usage: %s key\n", argv[0]);  
  62. }  
  63.    

気をつけるべきは、memcahced_get()の戻り値を使用した後、free()しなきゃならないことぐらいか。


値をdeleteするだげのしょぼいプログラム
  1. /* 
  2.  * gcc -o mdelete mdelete.c -I/usr/local/include -lmemcached 
  3.  */  
  4. #include <libmemcached/memcached.h>  
  5. #include <string.h>  
  6. #include <stdio.h>  
  7.   
  8.   
  9. static void usage(char *argv[]);  
  10.   
  11. int  
  12. main(int argc, char *argv[])  
  13. {  
  14.   memcached_st *memc;  
  15.   memcached_server_st *servers;  
  16.   memcached_return rc;  
  17.   char *value;  
  18.   size_t value_length;  
  19.   uint32_t flags;  
  20.   
  21.   if (argc != 2) {  
  22.     usage(argv);  
  23.     return -1;  
  24.   }  
  25.   
  26.   /* 初期化 */  
  27.   memc = memcached_create(NULL);  
  28.   servers = memcached_server_list_append(NULL, "192.168.1.250", 11211, &rc);  
  29.   if (rc != MEMCACHED_SUCCESS) {  
  30.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  31.     return -2;  
  32.   }  
  33.   /* memcへserversをpush */  
  34.   rc = memcached_server_push(memc, servers);  
  35.   if (rc != MEMCACHED_SUCCESS) {  
  36.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  37.     return -2;  
  38.   }  
  39.   /* serversを解放 */  
  40.   memcached_server_list_free(servers);  
  41.   
  42.   /* 削除 */  
  43.   rc= memcached_delete(memc, argv[1], strlen(argv[1]), (time_t)0);  
  44.   if (rc != MEMCACHED_SUCCESS && rc == MEMCACHED_BUFFERED) {  
  45.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  46.     memcached_free(memc);  
  47.     return -2;  
  48.   }  
  49.   
  50.   /* 解放 */  
  51.   memcached_free(memc);  
  52.   return 0;  
  53. }  
  54.   
  55.   
  56. static void  
  57. usage(char *argv[])  
  58. {  
  59.   fprintf(stderr, "Usage: %s key\n", argv[0]);  
  60. }  
  61.    

特に難しいことは無い。
memcached_deleteを使用するだけ。


値をaddするだけのしょぼいプログラム
  1. /* 
  2.  * gcc -o madd madd.c -I/usr/local/include -lmemcached 
  3.  */  
  4. #include <libmemcached/memcached.h>  
  5. #include <string.h>  
  6. #include <stdio.h>  
  7.   
  8.   
  9. static void usage(char *argv[]);  
  10.   
  11. int  
  12. main(int argc, char *argv[])  
  13. {  
  14.   memcached_st *memc;  
  15.   memcached_server_st *servers;  
  16.   memcached_return rc;  
  17.   
  18.   if (argc != 3) {  
  19.     usage(argv);  
  20.     return -1;  
  21.   }  
  22.   
  23.   /* 初期化 */  
  24.   memc = memcached_create(NULL);  
  25.   servers = memcached_server_list_append(NULL, "192.168.1.250", 11211, &rc);  
  26.   if (rc != MEMCACHED_SUCCESS) {  
  27.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  28.     return -2;  
  29.   }  
  30.   /* memcへserversをpush */  
  31.   rc = memcached_server_push(memc, servers);  
  32.   if (rc != MEMCACHED_SUCCESS) {  
  33.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  34.     return -2;  
  35.   }  
  36.   /* serversを解放 */  
  37.   memcached_server_list_free(servers);  
  38.   
  39.   /* あっど */  
  40.   rc = memcached_add(memc, argv[1], strlen(argv[1]),  
  41.                      argv[2], strlen(argv[2]),  
  42.                      (time_t)600, (uint32_t)0);  
  43.   
  44.   if (rc != MEMCACHED_SUCCESS && rc != MEMCACHED_STORED && rc != MEMCACHED_NOTSTORED) {  
  45.     /* 値がセットされていない状態でaddするとMEMCACHED_SUCCESSが返ってくる。 */  
  46.     fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  47.     memcached_free(memc);  
  48.     return -2;  
  49.   }  
  50.   fprintf(stderr, "%s\n", memcached_strerror(memc, rc));  
  51.   
  52.   /* 解放 */  
  53.   memcached_free(memc);  
  54.   return 0;  
  55. }  
  56.   
  57.   
  58. static void  
  59. usage(char *argv[])  
  60. {  
  61.   fprintf(stderr, "Usage: %s key value\n", argv[0]);  
  62. }  
  63.    

値がセットされていない状態でaddするとMEMCACHE_SUCCESSがrcに設定される。
値がセットされている上体でaddするとMEMCACHE_NOTSTOREDがrcに設定される。


とりあえず、必要そうな部分の簡単なプログラムを作ってみた。

おしまい。
.

2008年5月8日木曜日

[libmemcache] libmemcacheを使ってクライアントを作ってみる

apr_memcacheの代わりにlibmemcacheを使えないか、と思いmemcacheクライアントを作ってみる。

必要なパッケージ(Debian-Etchの場合)は以下のとおり。

  • libmemcache0
  • libmemcache-dev
apt-getでインストールする。

で、早速プログラミング。

値を設定する場合の全体の流れは多分以下のとおり。
  1. struct memcacheの領域を確保。
  2. struct memcache構造体にサーバを追加。
  3. タイムアウト等の諸設定
  4. mc_setをコール
  5. struct memcache構造体領域の解放

値を取得する場合の全体の流れは多分以下のとおり。
  1. struct memcache構造体領域を確保
  2. struct memcache構造体にサーバを追加
  3. タイムアウト等の諸設定
  4. struct memcache_req構造体の領域を確保
  5. struct memcache_req構造体に対してキーを追加し、レスポンス領域(struct memcache_res)へのポインタを取得
  6. mc_get等の関数をコール
  7. struct memcache_res構造体からレスポンスデータを取得
  8. struct memcache_res構造体領域を開放
  9. struct memcache構造体領域を開放
な感じで、”多分”良さそう。

サーバに値をセットするプログラム

#include <memcache.h>
#include <stdio.h>

int
main()
{
struct memcache *mc ;
int ret;

/* struct memcache構造体領域を確保 */
mc = mc_new();

/* サーバの追加 */
ret = mc_server_add4(mc, "192.168.1.250:11211");
if (ret != MCM_ERR_NONE) {
fprintf(stderr, "failed: mc_server_add4():[%d]\n", ret);
mc_free(mc);
return -1;
}

/* タイムアウトの設定(60秒でタイムアウト) */
/*
* sec = 60秒
* usec = 0
*/
mc_timeout(mc, 60, 0);

/* 値の設定 */
/* key="test-key" */
/* val="test-data" */
/* expire= 600秒 */
/* flags=0 */
ret = mc_set(mc, "test-key", sizeof("test-key")-1, "test-data", sizeof("test-data")-1, 600, 0);
if (ret != MCM_ERR_NONE) {
fprintf(stderr, "failed: mc_set():[%d]\n", ret);
mc_free(mc);
return -2;
}
mc_free(mc);
return 0;
}
 

な感じ。

実行してみる。

$ gcc -o b b.c -lmemcache
$ ./b



書かれたかどうかをチェック。

$ telnet 192.168.1.250 11211
Trying 192.168.1.250...
Connected to 192.168.1.250.
Escape character is '^]'.
get test-key 0 0 0
VALUE test-key 0 9
test-data
END
 

書かれているっぽい。



サーバから値を取得してみるプログラム

#include <memcache.h>
#include <stdio.h>

int
main()
{
struct memcache *mc ;
struct memcache_req *mcr;
struct memcache_res *res;
int ret;

/* struct memcache構造体領域を確保 */
mc = mc_new();

/* サーバの追加 */
ret = mc_server_add4(mc, "192.168.1.250:11211");
if (ret != MCM_ERR_NONE) {
fprintf(stderr, "failed: mc_server_add4():[%d]\n", ret);
mc_free(mc);
return -1;
}

/* タイムアウトの設定(60秒でタイムアウト) */
/*
* sec = 60秒
* usec = 0
*/
mc_timeout(mc, 60, 0);

/* 値の取得
*/
mcr = mc_req_new();
res = mc_req_add(mcr, "test-key", sizeof("test-key")-1);
mc_get(mc, mcr);


/* 取得した値を出力 */
fprintf(stderr, "res->key:[%s] res->val:[%s]\n", res->key, res->val);

mc_req_free(mcr);
mc_free(mc);

return 0;
}
 


早速、実行。

$ gcc -o c c.c -lmemcache
$ ./c
res->key:[test-key] res->val:[test-data]
 

取得できた。

.

[apr_memcache] とりあえずScatterGatherI/Oやめてみた

あまりに遅いんで、vectorを文字列に展開しちゃってから
送信するようにしたパッチを、バグ対応パッチを参考につくってみた。


http://docs.google.com/Doc?id=dcxd2jkv_0gsmc3hdz

って誰もいらないかな??

一応、これでMySQLよりは断然はやいし、
変なエラーもなさげ。

.

[apr_memcache][mod_chxj] おかしいなー

apr_memcacheにパッチを当てると、MySQLの場合の数倍遅い。
まぁ、パッチを見ると、ちゃんと送ろうとしているのは分かるんだけど。。

うーむ。

ちなみにapr_memcacheにパッチを当てない場合だと
10000リクエスト100スレッドで大体140秒ぐらいで終る。
で、apr_memcacheのバグが原因であると思われる取りこぼしやエラーは
10000リクエスト中3件。

パッチを当てた場合は
10000リクエスト100スレッドで大体5700秒。
取りこぼしやエラーは0件。

ということで、結果から見ると
取りこぼしやエラーが許容範囲であるならば、
できればパッチを当てたくない感じ。
だって、やたらと遅いもんね。

つーか、apr_memcacheやめてlibmemcacheを使ったらどうなんだろう。
ということでやってみようっと。

.

[その他] MyPCが壊れた

オンボードのビデオ、オーディオ、ネットワークアダプタが軒並壊れたー。

.

2008年5月7日水曜日

[memcache] 容量とかの情報を取得する

ググってたら見つけたんで、メモ。


$ telnet 192.168.1.250 11211
Trying 192.168.1.250...
Connected to 192.168.1.250.
Escape character is '^]'.
stats
STAT pid 2284
STAT uptime 262
STAT time 1210089897
STAT version 1.1.12
STAT rusage_user 0.000000
STAT rusage_system 0.010000
STAT curr_items 0
STAT total_items 0
STAT bytes 0
STAT curr_connections 2
STAT total_connections 3
STAT connection_structures 3
STAT cmd_get 0
STAT cmd_set 0
STAT get_hits 0
STAT get_misses 0
STAT bytes_read 31
STAT bytes_written 425
STAT limit_maxbytes 67108864
END
 


・・・あら、素敵。

.

2008年5月6日火曜日

[mod_chxj] MySQLクッキー機能がなんか変

MySQLクッキー機能がなんか変・・・。

ちなみに元ネタはmod_auth_mysql3.0.0。

--
コネクションを張ったあと、SELECT文を投げるのだが、
ここで万が一失敗した場合、もう一度コネクションを張りにいくようにしていた。
ここで、既に張ってあったコネクションをそのままにコネクションを張ったもんだから
切断していないコネクションが・・・。

ということで、0.12.0で対応完了。
.

[Python][お勉強] みんなのPythonまた読破

みんなのPython Webアプリ編」読破。

さらっと読める本。ま、面白かったかな・・?

さて、次は先生いわく「読んどけ」らしい
ちょっと古い「Pythonクイックリファレンス」。

.

[OS]ひさびさに遊んだ

ひさびさにOS周りでお遊び。

ELFのスタティックリンクしたものであればロード&実行できるんだけど、
ELFのダイナミックリンクしたものをロードしようとするとglibcのどこかで
わけのわからんところにJumpしちゃう。

うーむ。Linuxのelfローダと同じことしたつもりなんだけど、
やっぱりglibcをちゃんと読まないと駄目ってことかいな。

.