使い方が悪かったのか、最近 Selium がぐずる事が多い。
- テストケースから呼び出すスクリプトをキャッシュする
- タイムアウトする
- メモリ食い過ぎ
open 命令でセットアップスクリプトを呼び出してるんだけど、これが変なところでキャッシュされてたりする。GET で呼び出してるからキャッシュされるのは当然なんだろうけど、ちょっと困る。ので、タイムスタンプをクエリにつけて呼び出すように修正。
ver.0.7 にして、やたらタイムアウトするようになった。サーバの不調とか、実行環境のパフォーマンスも関係してるんだろうけど、標準で30秒でタイムアウトだったので、これを長めにした。setTimeout 命令にミリ秒でタイムアウト時間を渡す。とりあえず5分にしてもタイムアウトしたので、これは Selenium じゃなくて実行環境の問題っぽい。
Firefox で全部のテストを回すと 500 MB オーバー。Firefox が悪いのか、テストケースをつめ過ぎなのか。とりあえず、テストスイートを分割する予定。
あと、テストケースはインクルードを上手く使わないと面倒が多いかも。ログインとか共通した命令セットが割とよく出てくるので、SSI なりテストケース自体スクリプトで書いて、PHP なら require/include とか使って上手く対応した方が良さげ。
ベンチマークとかとった事がないんだけど、JS を使いまくりなページを何度もロードした場合、PC に与える影響はいかほどだろう？この辺の影響で DOM パースが失敗してたりするかな？通しで失敗しても、個別で実行すると通る事がよくある。
まあ、調整を続けて上手くつきあっていきましょう。
