MySQL Users Conference Japan2007に行ってきました。少し早めに行ったら全然人がいなくて少しアセったけれど、Keynoteが始まってみれば会場はほぼ満員。

お目当ての「Performance Tuning and Benchmarks」のセッションは、特に目新しいTIPSの紹介というよりは、当たり前のことをちゃんとやりましょうよってことに尽きるかなぁ。

かつて一緒に働いた友人に、先日書いた1400万行のデータをRubyで扱うと...?（C/C++でリベンジ編）はmakefileまで載せないと役に立たないよ！と言われたので参考までにあげて置きます。といっても大したことはなくて、mysql_configを使えば必要なパラメータを取得できます。

:
（省略）
:
MSQLROOT   = /usr/local/mysql
MSQLINC    = $(MSQLROOT)/include/mysql
CFG        =/usr/local/mysql/bin/mysql_config
MYSQLLIBDIR= $(MSQLROOT)/lib/mysql/
MYSQLLIBS  = `$(CFG) --libs`
CC         = g++
CFLAGS     =  -g -DDEBUG -DULTRA -I$(MYINC) \
              -I$(MSQLINC) -I. `$(CFG) --cflags`
LDFLAGS    = -L$(MYLIB) -L$(MYSQLLIBDIR)
MAKEFILE   = makefile
SHELL      = /bin/sh
$(PROGRAM): $(OBJS) $(MAKEFILE) $(MYLIB)/libmy.a
    $(CC) -o $(PROGRAM) $(LDFLAGS) $(OBJS) $(LIBS) $(COMLIBS) $(MYSQLLIBS)
main.o:$(SRC)/main.cpp
    $(CC) $(CFLAGS) -c $(SRC)/main.cpp
:
（省略）
:

そのままは使えませんが多少は面倒を省いてくれるかもしれません。というわけで、今年こそ多少なりとも人のお役に立つことを書いていきたいと思います。

仕事で

id,name,amount,date
:

のような構成のcsvファイルをMySQLのtable foo(id,category,name,price,value)とぶつけて

id,category,name,amount,price,date
:

に変換して出力する必要があったのでちょっとRubyでコードを書いてみました。cvsファイルはid列でソートされています。

require 'mysql'
require 'csv'

id  = nil
category = nil
price = nil
msql = Mysql::new('localhost','mysql','mypass','db')

CSV::Reader.create(File.open(ARGV[0],'r')).each { | row |
  if id != row[0] 
    id = row[0]
    result = msql.query("select * from foo where id = #{id}")
    if result.num_rows == 0
      puts "error! #{id}"
      break;
    end
    result.each do | var |
      category = var[0]
      price = var[1]
    end
  end
  puts "#{id},#{category},#{row[1]},#{row[3]},#{price},#{row[2]}"
}
msql.close();

いえ、動くんですよ。結果も欲しいものが得られました、テストでは。
ただ、本番のCSVファイル....14839193件もあったんですよ。いくら待って終わりませんです。計測無用。というわけで、玉砕しました。（しかも、来月から僕のDaily Workだってさ。マジ！？）