目次
perlre - Perl 正規表現
このページでは Perl での正規表現の構文について説明します.
もしこれまでに正規表現を使ったことがないのであれば, perlrequickにクイックスタートが, perlretut に 長めのチュートリアルがあります.
正規表現をマッチ操作でどのように使うかやそれに関する様々な例に
関しては, "Regexp Quote-Like Operators" in perlop にある
m//, s///, qr// 及び ?? の説明を参照して下さい.
マッチ操作には様々な修飾子(modifier)があります. 修飾子は 正規表現内の解釈に関連する物で, 次に一覧にしています. Perl が 正規表現を使う方法を変更する修飾子は "Regexp Quote-Like Operators" in perlop 及び "Gory details of parsing quoted constructs" in perlop に 説明されています.
文字列を複数行として扱います. つまり, "^" 及び "$" は 文字列の最初と最後に対するマッチから, 文字列中の各行の先頭と末尾に 対するマッチへと変更されます.
文字列を１行として扱います. つまり, "." は任意の１文字, 通常はマッチしない改行でさえもマッチするように変更されます.
/ms として共に使うと, "^" 及び "$" はそれぞれ 文字列中の改行の直前及び直後のマッチでありつつ, "." は任意の文字に マッチするようになります.
大文字小文字を区別しないパターンマッチを行います.
use locale が有効になっている場合には大文字小文字の対応表は
現在のロケールから取られます. perllocale を参照してください.
空白やコメントを許可してパターンを読みやすくするように拡張します.
${^PREMATCH}, {$^MATCH}, 及び ${^POSTMATCH} といったマッチされた 文字列をマッチの後も使えるように維持します.
グローバル(Global)なマッチ, 及びマッチ失敗後の現在位置(Current position) の保持. i, m, s, 及び x とは違い, この2つのフラグは 正規表現そのものではなく正規表現の使われ方に作用します. g 及び c 修飾子の詳細な説明は "Using regular expressions in Perl" in perlretut を参照してください.
これらは通常 "/x 修飾子" のように記述され, これは区切りがスラッシュ
でなくてもそう記述されます. また, これらはいずれも (?...) 構築子
を使って正規表現内に埋め込まれることもあります.
/x に関してはもう少し説明が必要です. これはバックスラッシュで
エスケープされているか文字クラスの中にあるか以外の空白文字を
無視するように正規表現パーサに伝えます. これを使うことで正規表現を
(若干)より読みやすいパーツに分解することができます. そして #
文字は通常の Perl コードのようにコメントを始めるメタ文字として
扱われるようになります. これはパターンの中(それも/xの影響を
受けない文字クラスの外)で実際に空白や # 文字を必要とする
ときには, エスケープするか8進数若しくは16進数エスケープ(バック
スラッシュ若しくは \Q...\E)をしなければ
なりません. /x でこれらの機能を利用することで, Perl の
正規表現をより読み易くするのに非常に役立ちます. ただ, コメントの
中にパターン区切り子を書いてしまわないようには注意してください
-- perl にはパターンを早めに終わらせようとした訳じゃないことを
知る方法がないのです. C スタイルのコメントを削除するコードは
perlop を参照してください. また \Q...\E の内側に
なる箇所は /x の影響を受けないことに注意してください.
Perl のパターンマッチで使われるパターンは Version 8 正規表現 ルーチンで提供されているものからの派生です. (このルーチンは Henry Spencer の自由に再配布可能な V8 ルーチンの再実装から (遠くにはなれつつ)派生しています). 詳細は "Version 8 Regular Expressions" を参照してください.
特に以下のメタ文字は標準のegrepっぽい意味を持っています:
\ Quote the next metacharacter
^ Match the beginning of the line
. Match any character (except newline)
$ Match the end of the line (or before newline at the end)
| Alternation
() Grouping
[] Character class
\ 次のメタ文字をエスケープ
^ 行の先頭にマッチ
. 任意の文字にマッチ(但し改行は除く)
$ 行の終端にマッチ(若しくは終端の改行の前)
| 代替
() グループ化
[] 文字クラスデフォルトでは, 文字 "^" は文字列の先頭にのみ, そして文字 "$" は 末尾(若しくは末尾の改行の前)にのみマッチすることを保証し, そして Perl は文字列が1行のみを含んでいるという仮定でいくつかの 最適化を行います. 埋め込まれている改行文字は "^" や "$" とは マッチしません. しかし文字列には複数行が格納されていて, "^" は任意の改行の後(但し改行文字が文字列の最後の文字 だった場合は除く), そして "$" は任意の改行の前で マッチさせたいこともあるでしょう. 小さなオーバーヘッドは ありますが, これはパターンマッチで /m 修飾子を使うことで 行うことができます. (古いプログラムでは <$*> を設定することで これを行っていましたがこれは perl 5.9 では削除されています.)
複数行での利用を簡単にするために, 文字 "." は /s 修飾子を
使って Perl に文字列を1行として処理すると伝えない限り
改行にはマッチしません.
以下の標準的な量指定子を使えます:
* Match 0 or more times
+ Match 1 or more times
? Match 1 or 0 times
{n} Match exactly n times
{n,} Match at least n times
{n,m} Match at least n but not more than m times
* 0 回以上のマッチ
+ 1 回以上のマッチ
? 1 回若しくは 0 回のマッチ
{n} ちょうど n 回のマッチ
{n,} n 回以上のマッチ
{n,m} n 回以上 m 回以下のマッチ
(これ以外のコンテキストで波括弧が使われたときには
普通の文字として使われます. また, 下限は省略可能では
ありません.) "*" 量指定子は {0,} と, "+" 量指定子は {1,} と,
そして "?" 量指定子は {0,1} と等価です. n 及び m は
perl をビルドしたときに定義した既定の制限より小さな整数回に
制限されます. これは大抵のプラットフォームでは 32766 回に
なっています. 実際の制限は次のようなコードを実行すると
生成されるエラーメッセージで見ることができます:
$_ **= $_ , / {$_} / for 2 .. 42;デフォルトでは, パターンで行われる量指定は"貪欲"です, つまりそれはパターンの残りの部分が可能な範囲で, (始めた地点から)可能な限り多くを先にあるパターンで マッチさせます. もし最小回数でのマッチを 行いたいのであれば, 量指定子の後ろに "?" を続けます. 意味は変更されずに"貪欲さ"だけを変更できます:
*? Match 0 or more times, not greedily
+? Match 1 or more times, not greedily
?? Match 0 or 1 time, not greedily
{n}? Match exactly n times, not greedily
{n,}? Match at least n times, not greedily
{n,m}? Match at least n but not more than m times, not greedily
*? 0 回以上の貪欲でないマッチ
+? 1 回以上の貪欲でないマッチ
?? 0 回若しくは 1 回の貪欲でないマッチ
{n}? ちょうど n 回の貪欲でないマッチ
{n,}? n 回以上の貪欲でないマッチ
{n,m}? n 回以上 m 回以下の貪欲でないマッチデフォルトでは, パターンのうちの量指定された一部 によってパターン全体がマッチに失敗したとき, Perl はバックトラックを行います. しかしこの 振る舞いは望まれないこともあります. その為 Perl は"強欲な(possessive)"量指定形式も 提供しています.
*+ Match 0 or more times and give nothing back
++ Match 1 or more times and give nothing back
?+ Match 0 or 1 time and give nothing back
{n}+ Match exactly n times and give nothing back (redundant)
{n,}+ Match at least n times and give nothing back
{n,m}+ Match at least n but not more than m times and give nothing back
*+ 0 回以上のマッチでなおかつ全く戻らない
++ 1 回以上のマッチでなおかつ全く戻らない
?+ 0 回若しくは 1 回のマッチでなおかつ全く戻らない
{n}+ ちょうど n 回のマッチでなおかつ全く戻らない (冗長)
{n,}+ n 回以上のマッチでなおかつ全く戻らない
{n,m}+ n 回以上 m 回以下のマッチでなおかつ全く戻らない例えば,
'aaaa' =~ /a++a/
は, a++ が文字列中の全ての a を飲み込んで
しまい後に何も残さないためマッチしません. この機能は
バックトラックするべきでない場所のヒントを perl に
与えるのに非常に便利です. 例えば, 典型的な
"ダブルクオート文字列のマッチ"問題で次のように
書くととても効率的になります:
/"(?:[^"\\]++|\\.)*+"/
見ての通り最後のクオートがマッチしなかったとき,
バックトラックは役に立ちません. 詳細は独立した
サブパターン (?>...) を参照してください;
強欲な量指定子はまさにその構文糖です. 例えば
この例は次のようにも書けます:
/"(?>(?:(?>[^"\\]+)|\\.)*)"/パターンはダブルクオート文字列として処理されるため, 以下のエスケープ文字も動作します:
\t tab (HT, TAB)
\n newline (LF, NL)
\r return (CR)
\f form feed (FF)
\a alarm (bell) (BEL)
\e escape (think troff) (ESC)
\033 octal char (example: ESC)
\x1B hex char (example: ESC)
\x{263a} long hex char (example: Unicode SMILEY)
\cK control char (example: VT)
\N{name} named Unicode character
\l lowercase next char (think vi)
\u uppercase next char (think vi)
\L lowercase till \E (think vi)
\U uppercase till \E (think vi)
\E end case modification (think vi)
\Q quote (disable) pattern metacharacters till \E
\t タブ (水平タブ;HT, TAB)
\n 改行 (LF, NL)
\r 復帰 (CR)
\f フォームフィード (FF)
\a アラーム (ベル) (BEL)
\e エスケープ (troff 的) (ESC)
\033 8進文字 (例: ESC)
\x1B 16進文字 (例: ESC)
\x{263a} ロング16進文字 (例: Unicode SMILEY)
\cK 制御文字 (例: VT)
\N{name} 名前付きユニコード文字
\l 次の文字を小文字に (vi 的)
\u 次の文字を大文字に (vi 的)
\L \E まで小文字に (vi 的)
\U \E まで大文字に (vi 的)
\E 変更の終端 (vi 的)
\Q \E までパターンメタ文字の無効化(Quote)
use locale の影響下であれば, \l, \L, \u, \U
による大文字小文字変換は現在のロケールで処理されます.
perllocale を参照してください.
\N{name} に関するドキュメントは charnames を参照してください.
\Q シーケンス内であっても $ 及び @ のリテラルは
含めることはできません. エスケープされていない $
及び @ は対応する変数の埋め込みとなり,
とはいえエスケープは リテラル文字列 \$ とのマッチになります.
m/\Quser\E\@\Qhost/ といった感じに記述する必要があります.
加えて, Perl は以下のものを定義しています:
\w Match a "word" character (alphanumeric plus "_")
\W Match a non-"word" character
\s Match a whitespace character
\S Match a non-whitespace character
\d Match a digit character
\D Match a non-digit character
\pP Match P, named property. Use \p{Prop} for longer names.
\PP Match non-P
\X Match eXtended Unicode "combining character sequence",
equivalent to (?:\PM\pM*)
\C Match a single C char (octet) even under Unicode.
NOTE: breaks up characters into their UTF-8 bytes,
so you may end up with malformed pieces of UTF-8.
Unsupported in lookbehind.
\1 Backreference to a specific group.
'1' may actually be any positive integer.
\g1 Backreference to a specific or previous group,
\g{-1} number may be negative indicating a previous buffer and may
optionally be wrapped in curly brackets for safer parsing.
\g{name} Named backreference
\k<name> Named backreference
\K Keep the stuff left of the \K, don't include it in $&
\v Vertical whitespace
\V Not vertical whitespace
\h Horizontal whitespace
\H Not horizontal whitespace
\R Linebreak
\w "単語" 文字にマッチ (英数字及び"_")
\W 非"単語"文字にマッチ
\s 白空白文字にマッチ
\S 非白空白文字にマッチ
\d 数字にマッチ
\D 非数字にマッチ
\pP 名前属性 P にマッチ. 長い名前であれば \p{Prop}.
\PP P以外にマッチ
\X 拡張 Unicode "複合文字シーケンス (combining character sequence)"
のマッチ, (?:\PM\pM*)と等価
\C 1つの C 文字 (8進数)にマッチ, Unicode 環境でも同じ.
補足: 文字をUTF-8バイト列へと変換するので, 壊れた
UTF-8 片となるかもしれません. lookbehind はサポートしていません.
\1 指定したグループへの後方参照.
'1' には正の整数を指定できます.
\g1 指定した若しくは前のグループへの後方参照,
\g{-1} 数値は前のバッファを示す負の値にもできます, また
任意で安全にパースするために波括弧で括ることもできます.
\g{name} 名前指定の後方参照.
\k<name> 名前指定の後方参照.
\K \K の左にある物を保持, $& に含めない.
\v 垂直白空白.
\V 垂直白空白以外.
\h 水平白空白.
\H 水平白空白以外.
\R 行区切り.
\w は単語全体ではなく, 1つの英数字(アルファベット
若しくは数字)若しくは _ にマッチします. Perl で識別子
となる文字列(これは英単語とは異なります)にマッチさせるためには
\w+ を使います. use locale の影響下であれば,
\w で適用されるアルファベットは現在のロケールから
採用されます. perllocale を参照してください.
\w, \W, \s, \S, \d, そして \D は文字クラスでも
利用できますが, 範囲の両端には使えません. その前後に "-" を
使ったとき, その "-" はリテラルとして処理されます. もし
Unicode 環境下であれば \s は "\x{85}", "\x{2028}", そして
"\x{2029}" にもマッチします. \pP, \PP, 及び \X の
詳細と独自の \p 及び \P 属性を定義することに関しては
perlunicode を, そして Unicode 一般に関しては
perluniintro を参照してください.
\R はネットワーク行末 "\x0D\x0A" を含めた
行区切りにアトミックにマッチします. 本質的に, \R は次と等価です.
(?>\x0D\x0A?|[\x0A-\x0C\x85\x{2028}\x{2029}])
補足: \R は文字クラスでは特別な意味を持ちません;
代わりに \v (垂直白空白)を利用してください).
POSIX 文字クラス構文
[:class:]
も利用可能です. [ 及び ] ブラケットは
リテラルという点に注意してください; これらは
文字クラス式の中で常に使う必要があります.
# this is correct:
$string =~ /[[:alpha:]]/;
# this is not, and will generate a warning:
$string =~ /[:alpha:]/;利用可能な文字クラスとそれと等価な バックスラッシュ記法(提供されていれば)は以下の通りです:
alpha
alnum
ascii
blank [1]
cntrl
digit \d
graph
lower
print
punct
space \s [2]
upper
word \w [3]
xdigit
[ \t] と等価な GNU 拡張, "全ての水平白空白".
[[:space:]] には(とても稀な)"垂直タブ", "\cK" 若しくは
ASCII での chr(11)
が含まれるため \s と完全な等価ではありません.
Perl 拡張, 既出.
例えば全ての大文字にマッチさせるためには [:upper:] を
使うことができます. [] は [::] 構成子の一部であって,
完全な文字クラスの一部ではありません. 例えば:
[01[:alpha:]%]は, 0, 1, 任意の英字, そしてパーセント記号にマッチします.
以下の Unicode \p{} 構成子及び等価なバックスラッシュ 文字クラス(提供されていれば)の等式:
[[:...:]] \p{...} backslash
alpha IsAlpha
alnum IsAlnum
ascii IsASCII
blank
cntrl IsCntrl
digit IsDigit \d
graph IsGraph
lower IsLower
print IsPrint
punct IsPunct
space IsSpace
IsSpacePerl \s
upper IsUpper
word IsWord
xdigit IsXDigit
例えば [[:lower:]] と \p{IsLower} は等価です.
utf8 プラグマは使われていなくて locale プラグマが
使われていた場合にはクラスは通常の isalpha(3) インターフェースと
相互に関連します(但し "word" 及び "blank" は除く).
その他の名前付きクラスは以下の通りです:
任意の制御文字. 通常出力を生成する代わりにターミナルの制御を
行う文字: 例えば改行やバックスペースは制御文字です.
ord() が32未満となる全ての文字は制御文字として
分類され(ASCII, ISO ラテン文字集合, 及び Unicodeを仮定),
ord() が値 127 となる文字(DEL)も同様です.
全ての英数字及び句読点(特殊)文字.
全ての英数字, 句読点(特殊)文字, 及び空白文字.
全ての句読点(特殊)文字.
全ての16進数字. これはいまひとつぽいけれど([0-9A-Fa-f]も ちゃんと動作します), 完全性のために含まれています.
クラス名の前に '^' をおくことで [::] 文字クラスの 補集合を使うこともできます. これは Perl での拡張です. 例:
POSIX traditional Unicode
POSIX 普段の Unicode
[[:^digit:]] \D \P{IsDigit}
[[:^space:]] \S \P{IsSpace}
[[:^word:]] \W \P{IsWord}Perl は POSIX 文字クラスにある POSIX 標準は 文字クラスのみをサポートしていると考えます. POSIX 文字クラス [.cc.] 及び [=cc=] は認識されますが, サポートはされておらずそれを使うとエラーとなるでしょう.
Perl は以下のゼロ幅のアサーションを定義しています:
\b Match a word boundary
\B Match except at a word boundary
\A Match only at beginning of string
\Z Match only at end of string, or before newline at the end
\z Match only at end of string
\G Match only at pos() (e.g. at the end-of-match position
of prior m//g)
\b 単語境界にマッチ
\B 単語境界以外にマッチ
\A 文字列の開始にのみマッチ
\Z 文字列の終端若しくは終端の改行前にのみマッチ
\z 文字列の終端にのみマッチ
\G pos() の位置にのみマッチ (つまり前のm//gのマッチ終端位置)
単語境界(\b)は\W にマッチする文字列の始まりと
終わりを連想するような, 片側を \w, もう片側を
\W で挟まれている点です. (文字クラスにおいては
\b は単語境界ではなくバックスペースを表します,
ちょうどダブルクオート文字列と同じように.)
\A 及び \Z は "^" 及び "$" と同様ですが,
/m 修飾子が指定されているときに "^" 及び "$"
は全ての内部的な行境界にマッチするのに対して
\A 及び \Z は複数回のマッチにはなりません.
文字列の本当の末尾にマッチさせ, 省略可能である
末尾の改行を無視しないようにする \z を使います.
\G アサーションはグローバルなマッチ(m//g)を
連結するために使います, これは
"Regexp Quote-Like Operators" in perlop にも説明されて
います. これは文字列に対していくつかのパターンを
次々にマッチさせたいといった, lex ライクなスキャナを
書きたいときにも便利です, 同じリファレンスを参照してください.
\G が実際にマッチできる位置は pos() を左辺値として
使うことで変更できます: "pos" in perlfunc を参照してください.
ゼロ幅マッチのルールは少し変化することに注意してください,
\G の左にある内容はマッチの長さを決定するときに
数えられません. 従って次のコードは永遠にマッチしません:
$str = 'ABC';
pos($str) = 1;
while (/.\G/g) {
print $&;
}これはゼロ幅へのマッチと見なされ, 'A' を出力し終了します, そして行の中で同じ場所に二度はマッチしません.
適切に使われていない \G は無限ループとなり
何の価値もありません. 代替(alternation; |)の中に
\G を含んでいるパターンを使う際には十分注意してください.
( ... ) を構成するブラケットはキャプチャバッファを
生成します. 同じパターンの後方で内容を参照するには,
最初のものであれば \1 を, 2番目の物であれば \2 を使います.
マッチの外側では "\" の代わりに "$" を使います.
(\<数字> 記法はマッチの外側でも特定の状況では動作します.
\1 と $1 に関する警告の詳細は後述を参照してください.)
マッチの別の部分を戻って参照することは, 後方参照
(backreference)と呼ばれます.
使用できるキャプチャされた部分文字列の数に制限はありません. しかし Perl は \10, \11, etc. を \010, \011, etc. の エイリアスとして使います. (0 は8進数を意味することを 思い出してください, つまり \011 はあなたのコーディング している文字集合での番号 9 にあたる文字になります; これは10番目の文字であり, ASCII においては水平タブに なります.) Perl はこれを両方の意味で解釈し, 少なくとも 10 の左括弧が使われていれば \10 を後方参照として解釈します. 同じように 11 の左括弧があれば \11 を後方参照として 解釈します. その先も同様です. \1 から \9 は常に後方参照 として解釈されます.
後方参照を使ったパターンをより安全で簡単に構成するために,
Perl は \g{N} 記法を提供します(5.10.0 以降). 波括弧は任意ですが,
省略するとそれに続くテキストが変わると(つまり数字が続く場合に)
安全ではなくなります. N が正の整数のとき, \g{N} は
通常の後方参照と丁度同じです. N が負の整数の時,
N 個前のキャプチャグループを参照する相対的な後方参照
になります. ブラケット形式で N が整数でないときは
名前付きバッファへの参照として扱われます.
従って \g{-1} は最後のバッファを, \g{-2} は
その前のバッファを参照します. 例えば:
/
(Y) # buffer 1
( # buffer 2
(X) # buffer 3
\g{-1} # backref to buffer 3
\g{-3} # backref to buffer 1
)
/x
は /(Y) ( (X) \3 \1 )/x と同じマッチとなります.
加えて, 5.10.0 時点では名前付きキャプチャバッファ
及び名前付き後方参照を利用できます. (?<name>...)
で宣言し, \k<name> で参照します.
名前区切りに各括弧の代わりにアポストロフィを使うこともできます;
そしてブラケットによる \g{name} 後方参照構文を
使うこともできます. 名前付きキャプチャバッファを
通常通りに絶対及び相対番号で参照することもできます.
パターンの外においては, 名前付きキャプチャバッファは
%+ ハッシュを通して利用できます. 同じパターン内で
異なるバッファが同じ名前を持っていたとき, $+{name}
及び \k<name> は一番左で定義されたグループを
参照します. (つまり処理のために C(<??{}))> を必要と
する別の方法の名前付きキャプチャバッファで
行うこともできます.)
例:
s/^([^ ]*) *([^ ]*)/$2 $1/; # swap first two words
/(.)\1/ # find first doubled char
and print "'$1' is the first doubled character\n";
/(?<char>.)\k<char>/ # ... a different way
and print "'$+{char}' is the first doubled character\n";
/(?'char'.)\1/ # ... mix and match
and print "'$1' is the first doubled character\n";
if (/Time: (..):(..):(..)/) { # parse out values
$hours = $1;
$minutes = $2;
$seconds = $3;
}
s/^([^ ]*) *([^ ]*)/$2 $1/; # 最初の2つの単語を入れ替え.
/(.)\1/ # 最初の重複した文字を探索.
and print "'$1' is the first doubled character\n";
/(?<char>.)\k<char>/ # ... 違ったやり方で.
and print "'$+{char}' is the first doubled character\n";
/(?'char'.)\1/ # ... ごちゃ混ぜ.
and print "'$1' is the first doubled character\n";
if (/Time: (..):(..):(..)/) { # 値の抽出.
$hours = $1;
$minutes = $2;
$seconds = $3;
}
いくつかの特殊変数もまた以前のマッチの一部を
参照しています. $+ は最後のマッチした
のブラケットマッチと返します. $& はマッチした
文字列全体を返します. (一頃は $0 もそうでしたが,
現在ではこれはプログラム名を返します.)
$` はマッチした文字列の前の全てを返します.
$' はマッチした文字列の後の全てを返します.
そして $^N には一番最後に閉じたグループ(サブマッチ)
にマッチしたものを含んでいます. $^N は
例えばサブマッチを変数に格納するため等に
拡張パターンの中でも利用できます(後述).
数値によるマッチ変数($1, $2, $3, etc.)及び
関連する記号変数($+, $&, $', 及び $^N)はすべて
ブロックの終端若しくは次のマッチ成功までのどちらか先に
満たした方の, 動的なスコープを持ちます.
("Compound Statements" in perlsyn 参照.)
補足: Perl において失敗したマッチは マッチ変数をリセットしません, これはより 特殊化させる一連のテストを書くことや, 最善のマッチを書くとことを容易にします.
警告: Perl は, 一旦プログラム中のどこかで $&, $`,
若しくは $' のいずれかを必要としていることを見つけると,
全てのパターンマッチでそれらを提供しなければなりません.
これはあなたのプログラムを大幅に遅くさせるでしょう.
Perl は $1, $2, 等の生成にも同じメカニズムを使っているので,
キャプチャの括弧に含まれるそれぞれのパターンにも
同じ料金を払っています. (グループ化の振る舞いを維持しつつ
このコストを削減するには拡張正規表現 (?: ... ) を代わりに
使います. (訳注:Perl拡張というだけで /x 修飾子は不要.))
ですが $&, $` 若しくは $' を一度も使わなければ,
キャプチャの括弧をもたないパターンではこの不利益は
なくなります. この為, 可能であれば $&, $', 及び $`
を削除しましょう, しかしそれができなかった(そしてそれらを
本当に理解しているアルゴリズムがあるのであれば), 一旦
それらを使った時点でそれ以降は自由にそれらを使うことができます,
なぜならあなたは(一度使った時点で)既に代価を払っているので.
5.005 であれば $& は他の２つほど高価ではありません.
この問題に対する解決策として, Perl 5.10.0 からは
$`, $& 及び $' と等価だけれども /p (preseve)
修飾子を伴って実行されたマッチが成功した後でのみ
定義されることが保証される ${^PREMATCH},
${^MATCH} 及び ${^POSTMATCH} を導入しました.
これらの変数の使用は利用したいときに perl に伝える
必要がある代わりに, 等価な記号変数とは違い
全体的なパフォーマンスの低下を引き起こしません.
Perl においてバックスラッシュで表現されるメタ文字は
\b, \w, \n のように英数字です. 他の正規表現
言語とは異なり, 英数字でないシンボルのバックスラッシュ
はありません. なので \\, \(, \), \<, \>, \{,
若しくは \} といったものは全てメタ文字ではなく
リテラル文字です. これはパターンで使いたい文字列の中で
正規表現のメタ文字としての特殊な意味を無効化若しくは
クオートするための一般的な指標として使われてきました.
"単語"でない全ての文字は単にクオートします:
$pattern =~ s/(\W)/\\$1/g;
(もし use locale が有効であれば, これは現在の
ロケールに依存します.) 今日では特殊な意味を持つ
メタ文字を全て無効にするためには次のように
quotemeta() 関数か \Q メタクオート
エスケープシーケンスを使うのがより一般的です:
/$unquoted\Q$quoted\E$unquoted/
\Q 及び \E の間でリテラルとしてバックスラッシュを
おくとき(埋め込んだ変数の中でではない)には,
二重にクオートしたバックスラッシュの埋め込みは
困惑した結果となるでしょう. もし \Q...\E で
リテラルとしてのバックスラッシュを使う必要があるのなら,
"Gory details of parsing quoted constructs" in perlop
を参照してください.
Perl は awk や lex といった標準的なツール では見られない機能のための拡張構文も定義しています. 構文は対の括弧と括弧内の最初に疑問符の形をとります. 疑問符の後の文字で拡張を区別します.
拡張構文の安定度は様々です. 中には長年言語コアの 一部となっている物もあります. そうでなく実験的に 追加され警告なしに変更されたり削除されるものも 中にはあります. それぞれのステータスに関しては 個々の機能のドキュメントを確認してください.
疑問符は 1) それが古い正規表現で使われることは稀 であること, そして 2) それを見かけると何が行われるのか 本当に"疑問に"思って止まることから, これのためと 最小マッチ構成子のために選ばれました.
(?#text)
コメント. テキストは無視されます. /x 修飾子によって
白空白の整形が有効にされていれば単なる # でも十分です.
Perl は ) を見つけると直ぐにコメントを閉じる点に
注意してください, この為リテラル ) をコメント中に
おくことはできません.
(?pimsx-imsx)
１つ若しくは複数のパターンマッチ修飾子,
パターンの残り若しくは(もしあれば)包含している
パターングループののこりで有効にする(若しくは - が
全治されていれば解除する). これは設定ファイルから
読む, 引数から取る, 若しくはどこかのテーブルで
指定されている箇所からダイナミックなパターンを
使うときに特に便利です. パターンの一部では大文字
小文字を区別したいけれども別の箇所では区別しない
といったケースを考えてみます: 区別をしない場所では
単にパターンの先頭に (?i) を含めるだけです.
例えば:
$pattern = "foobar";
if ( /$pattern/i ) { }
# more flexible:
$pattern = "(?i)foobar";
if ( /$pattern/ ) { }これらの修飾子は包含しているグループの最後で 復元(restore)されます. 例えば,
( (?i) blah ) \s+ \1
は blah に大文字小文字の区別なくマッチし,
いくつかの空白, そして前の単語その物(大文字小文字の
区別まで含めて!)に再度マッチします, ここではこの
グループの外側で /x 修飾子を持ち, /i 修飾子を
持たないものとします.
p 修飾子は有効にできるのみで, 無効にはできない点,
そしてパターンのどこかにあればパターン全体で有効になる
点で特別です. 従って (?-p) 及び (?-p:...) は
意味を持たず, use warnings の下では警告を発します.
(?:pattern)(?imsx-imsx:pattern)これはキャプチャではなくクラスタです; これは "()" のように部分式をグループ化しますが "()" が 行うような後方参照は行いません. つまり,
@fields = split(/\b(?:a|b|c)\b/)は次と同様ですが
@fields = split(/\b(a|b|c)\b/)余計なフィールドを引き出しません. また不要であれば 文字のキャプチャを行わないため低コストです.
? 及び : の間の文字は (?imsx-imsx)
のようなフラグ修飾子として動作します.
/(?s-i:more.*than).*million/iはより冗長に書けば以下と等価です
/(?:(?s-i)more.*than).*million/i(?|pattern)これは各代替分岐においてキャプチャバッファを 同じ番号から始める特殊な属性を持っている, "ブランチリセット(branch reset)" パターンです. これは perl 5.10.0 から提供されています.
キャプチャバッファは左から右へと番号が 振られますが, この構成子の内側では各分岐毎に 番号はリセットされます.
各分岐内での番号図毛は通常通りに行われ, この構成子の後に続くバッファはその中で キャプチャバッファが一番多かった分岐のみが 格納されていたかのように番号付けされていきます.
この構成子はいくつかの代替マッチの1つをキャプチャ したいときに便利です.
以下のパターンを想像してみてください. 下側の番号は内容の格納されるバッファを示します.
# before ---------------branch-reset----------- after
/ ( a ) (?| x ( y ) z | (p (q) r) | (t) u (v) ) ( z ) /x
# 1 2 2 3 2 3 4
補足: Perl 5.10.0 時点では, ブランチリセットは
名前付きキャプチャを保持する%+ ハッシュの内容に干渉します.
%- を使うようにしてください.
先読み及び後読みの言明(assertion)は $& の中に
含めない特定のパターンにマッチするゼロ幅のパターンです.
正の言明はその部分パターンがマッチしたときにマッチし,
負の言明はその部分パターンが失敗したときにマッチします.
後読みのマッチは今のマッチ位置までのテキストにマッチし,
先読みの言明は今のマッチ位置の先にあるテキストにマッチします.
訳注:
後読み, 先読みはマッチの進む方向に対して.
m{ (?<=abc) def (?=ghi ) }x;
Look-behind -> body -> Look-ahead.
後読み -> 本体 -> 先読み(?=pattern)
ゼロ幅の正の先読み言明. 例えば, /\w+(?=\t)/ は
タブが続く単語にマッチしますが, タブは $& に
含まれません.
(?!pattern)
ゼロ幅の負の先読み言明. 例えば /foo(?!bar)/ は
"bar" が続かない全ての "foo" にマッチします.
しかしながら先読みと後読みは同じ物では ない 点に
注意してください. これを後読みに使うことはできません.
もし "foo" が前にない "bar" を探しているのなら,
/(?!foo)bar/ では欲しい物にはなりません. なぜなら (?!foo) は
次のものが "foo" ではないとだけいっているのです --
そしてそうではなく, そこには "bar" があるので,
"foobar" はマッチします. このような時には /(?!foo)...bar/
のような形で使う必要があるでしょう. ここで "ような" と
いっているのは "bar" が場合によっては3文字ではないことも
あるからです. 次のようにしてこれをカバーすることが
できます: /(?:(?!foo)...|^.{0,2})bar/.
またもっと簡単に次のようにできることもあるでしょう:
if (/bar/ && $` !~ /foo$/)後読みは以下を参照.
(?<=pattern) \K
ゼロ幅の正の後読みの言明. 例えば, /(?<=\t)\w+/ は
タブに続く単語にマッチしますが, タブは $& に 含まれません.
固定幅の後読みのみが動作します.
\K というこの構成子の特殊な形式もあります,
これは正規表現エンジンに対してそれが \K までに
マッチしたすべてのものを"取っておいて", $& には
含めないようにさせます. これは事実上可変長の後読みを
提供します. 他の先読み及び後読みの言明の中での利用も
可能ですが, その振る舞いは今のところあまり定義されて
いません.
いくつかの理由から, \K は等価な (?<=...)
構成子より非常に効率的で, 文字列の中で何かに続いている
何かを効率的に取り除きたいようなシチュエーションで
効果的に役立ちます. 例えば
s/(foo)bar/$1/g;次のようにより効率的に書き直せます
s/foo\Kbar//g;(?<!pattern)
ゼロ幅の負の後読みの言明. 例えば /(?<!bar)foo/ は
"bar" に続いていない任意の "foo" にマッチします.
固定幅の後読みのみが動作します.
(?'NAME'pattern)(?<NAME>pattern)
名前付のキャプチャバッファ.
通常のキャプチャ括弧 () と同様ですがそれに加えて
成功したマッチの後で名前付バッファを参照するために %+ もしくは
%- を
使うことが出来ます. %+ 及び %- ハッシュに関する詳細は perlvar を
参照してください.
複数の異なるキャプチャバッファが同じ名前を持っていたときには $+{NAME} はマッチの中で一番左で定義されたバッファを参照します.
2つの形式 (?'NAME'pattern) 及び (?<NAME>pattern) は
等価です.
補足: これを構成する記法は 類似していている .NET での正規表現と同じですが, 振る舞いは異なります. Perl ではバッファは名前がついているかどうかに かかわらず順番に番号が振られます. 従って 次のパターンにおいて
/(x)(?<foo>y)(z)/$+{foo} は $2 と同じであり, $3 には .NET 正規表現に なれた人が予測するのとはことなり 'z' が含まれます.
現在のところ NAME はシンプルな識別子のみに制限されて
います. 言い換えると, /^[_A-Za-z][_A-Za-z0-9]*\z/
若しくはその Unicode 拡張にマッチしなければなりません
(utf8 も参照), しかしロケールでは拡張されません
(perllocale 参照).
補足: Python や PCRE 正規表現エンジンになれたプログラマが
楽になるように, (?<NAME>pattern) の代わりに
(?P<NAME>pattern) のパターンを使うことも
できます; しかしこの形式は名前のデリミタとして
シングルクオートの使用はサポートされていません.
\k<NAME>\k'NAME'名前による後方参照. 数値によってではなく名前によって グループを指定する点を除いて, 名前による後方参照とにています. もし同じ名前の複数のグループがあったときには現在のマッチで 一番左に定義されているグループを参照します.
パターン内で (?<NAME>) によって定義されていない名前を
参照するとエラーになります.
両方の形式とも等価です.
補足: Python や PCRE 正規表現エンジンになれたプログラマが
楽になるように, \k<NAME> の代わりに
(?P=NAME) のパターンを使うことも
できます.
(?{ code })警告: この拡張正規表現の機能は実験的なものと考えてください, また追う通知なしに変更されるかもしれません. 副作用を持つコードの実行は今後の正規表現エンジンの 最適化の影響でバージョン間で必ずしも同じになるとは 限らないでしょう.
このゼロ幅アサーションは埋め込まれた任意の Perl コードを評価します.
これは常に(正規表現として)成功し, その code は埋め込まれません.
今のところ, code が終わる場所を認識するルールは少々複雑です.
この機能では一緒にネストした括弧の数を数えなくとも1つ前の
マッチ結果をキャプチャ特殊変数 $^N を使うことができます.
$_ = "The brown fox jumps over the lazy dog";
/the (\S+)(?{ $color = $^N }) (\S+)(?{ $animal = $^N })/i;
print "color = $color, animal = $animal\n";
(?{...}) ブロックの中では $_ は正規表現をマッチさせている文字列を
参照します. pos() を使ってこの文字列で現在のマッチ位置を知ることも
できます.
code は次の感じで適切にスコープを持ちます: もしアサーションが
バックトラックされている("バックトラック" 参照)のなら,
local されなかった後の全ての変更, つまり
$_ = 'a' x 8;
m<
(?{ $cnt = 0 }) # Initialize $cnt.
(
a
(?{
local $cnt = $cnt + 1; # Update $cnt, backtracking-safe.
})
)*
aaaa
(?{ $res = $cnt }) # On success copy to non-localized
# location.
>x;
は $res = 4 を設定します. マッチの後で $cnt はグローバルに設定された値を
返します, なぜなら local 演算子で制限されたスコープは巻き戻されるためです.
このアサーションは (?(condition)yes-pattern|no-pattern) スイッチ
として使われるかもしれません. この方法で使われなかったのなら,
code の評価結果は特殊変数 $^R におかれます. これはすぐに
行われるので $^R は同じ正規表現内の他の $?{ code })
アサーションで使うことができます.
この $^R への設定は適切にlocal化されるため, $^R の古い
値はバックトラックしたときには復元されます; "バックトラック"
を見てください.
不運にも実装上の理由によりこれらのブロックに含まれる Perl コードは 関数やループ内でレキシカルスコープな変数とともに使うと 一見奇妙な結果を持つコンパイル時のクロージャとして 扱われます. これの対処方法は, 単純にに代わりにグローバル変数を 使うことも含めて幾つかあります. もしこの構成子を使って奇妙な結果が 発生しているのなら, レキシカルスコープな変数を使っているかどうかを 確認してみてください.
セキュリティ的な理由により, 正規表現を実行時に変数から構築する
ことは, 危険な use re 'eval' プラグマが使われている(re参照)か
変数が qr// 演算子("qr/STRING/imosx" in perlop参照)の結果を
含んでいる時以外は拒否されます.
この制限は, 実行時に決まる文字列をパターンとして使う, とても広まっていてとても便利な風習のためのものです. 例えば:
$re = <>;
chomp $re;
$string =~ /$re/;
Perl がパターンの中にあるコードを実行する方法を知る前は
この操作は不正なパターンで例外を発生させはしますが
セキュリティ的な視点で完全に安全でした.
もし use re 'eval' を有効にしている
のなら, これはもはやセキュアではありません, そして taint チェックを
使っているときにだけ行うべきです. より良い方法としては, Safe
の区画内で注意深く制限された評価を使うべきでしょう. この
双方のメカニズムについての詳細は perlsec を参照してください.
Perl の正規表現エンジンは今のところリエントラントではないので,
埋め込まれたコードからは m// 若しくは s/// を使って直接
的にでも split のような関数を使って間接的にでも呼び出さないで
ください.
(??{ code })警告: この拡張正規表現の機能は実験的なものと考えてください, また追う通知なしに変更されるかもしれません. 副作用を持つコードの実行は今後の正規表現エンジンの 最適化の影響でバージョン間で必ずしも同じになるとは 限らないでしょう.
これは"先送りされた"正規部分表現です. code は実行時に評価され,
そのときにこの部分表現にマッチさせます. 評価の結果は正規表現として
受け取られ, この構成子の代わりに入れられていたかのようにマッチ
されます. これは eval されたパターン内部で定義されたキャプチャ
バッファの内容はパターンの外側では提供されず, そしてその逆も
同様になる点に注意してください, 内側のパターンが外側で定義された
キャプチャバッファを参照する方法はありません.
例えば,
('a' x 100)=~/(??{'(.)' x 100})/これはマッチ しますが, $1 は設定され ません.
code は埋め込まれません. 先の時と同様に code が終了していると
決定するルールは少々複雑です.
次のパターンは括弧で囲まれたグループにマッチします:
$re = qr{
\(
(?:
(?> [^()]+ ) # Non-parens without backtracking
|
(??{ $re }) # Group with matching parens
)*
\)
}x;
同じタスクを行う別の, より効率的な方法として (?PARNO) も
参照してください.
Perl の正規表現エンジンは今のところリエントラントではないので,
遅延されたコードからは m// 若しくは s/// を使って直接
的にでも split のような関数を使って間接的にでも呼び出さないで
ください.
入力を消費しない 50 回を超える深い再帰は致命的なエラーと なります. 最大深度は perl にコンパイルされているので, これを変更するには特別にビルドする必要があります.
(?PARNO) (?-PARNO) (?+PARNO) (?R) (?0)
コードのコンパイルを伴わなず, その代わりにキャプチャバッファの
内容を現在の位置でマッチすべき独立したパターンとして
扱う, (??{ code }) と似た機能です. パターンに内包されている
キャプチャバッファは一番外側の再帰として決定されるという
価値があります.
PARNO はその値が再帰させるキャプチャバッファの
括弧番号を反映する一連の数字からなります(そして0からは
始まりません). (?R) はパターン全体の最初から再帰します.
(?0) は (?R) の別の構文です. PARNO の前に正符号
若しくは負符号がついていた場合には相対的な位置として
使われます, 負数であれば前のキャプチャバッファを,
正数であれば続くキャプチャバッファを示します.
従って (-1) は一番最近宣言されたバッファを参照し,
(?+1) は次に宣言されるバッファを参照します.
相対再帰の数え方は相対後方参照とは違って,
バッファに閉じていない再帰は含まれることに
注意してください,
以下のパターンは引数にバランスのとれた括弧を 含んでいるかもしれない関数 foo() にマッチします.
$re = qr{ ( # paren group 1 (full function)
foo
( # paren group 2 (parens)
\(
( # paren group 3 (contents of parens)
(?:
(?> [^()]+ ) # Non-parens without backtracking
|
(?2) # Recurse to start of paren group 2
)*
)
\)
)
)
}x;
$re = qr{ ( # 括弧グループ 1 (関数全体)
foo
( # 括弧グループ 2 (括弧)
\(
( # 括弧グループ 3 (括弧の内容)
(?:
(?> [^()]+ ) # 括弧以外, バックトラックなし
|
(?2) # 括弧グループ2を再帰
)*
)
\)
)
)
}x;このパターンを以下のように使うと,
'foo(bar(baz)+baz(bop))'=~/$re/
and print "\$1 = $1\n",
"\$2 = $2\n",
"\$3 = $3\n";次のように出力されます:
$1 = foo(bar(baz)+baz(bop))
$2 = (bar(baz)+baz(bop))
$3 = bar(baz)+baz(bop)もし対応するキャプチャバッファが定義されていなかったときには 致命的なエラーとなります. 入力を消費しない 50 回を超える深い再帰も致命的なエラーと なります. 最大深度は perl にコンパイルされているので, これを変更するには特別にビルドする必要があります.
以下に後で使うパターンのために, qr// 構成子内で再帰を
埋め込むのに負数の参照を使うとどのように容易になるかを示します:
my $parens = qr/(\((?:[^()]++|(?-1))*+\))/;
if (/foo $parens \s+ + \s+ bar $parens/x) {
# do something here...
}補足 このパターンは PCRE や Python での等価な形式の構成子と 同じように振る舞うわけではありません. Perl においては再帰グループの 中にバックトラックできますが, PCRE や Python ではグループへの 再帰はアトミックに扱われます. また, 修飾子はコンパイル時に解決 されるので, (?i:(?1)) や (?:(?i)(?1)) といった構成子は サブパターンがどのように処理されたかに影響されません.
(?&NAME)
名前付きサブパターンへの再帰. 再帰する括弧が名前によって
決定される点以外は(?PARNO) と等価です. もし複数の括弧で
同じ名前を持っていた場合には一番左のものに再帰します.
パターンのどこでも宣言されていない名前の参照はエラーになります.
補足: Python 若しくは PCRE 正規表現エンジンに
なれているプログラマが簡単になるように
(?&NAME) の代わりに (?P>NANE)
を使うこともできるでしょう.
(?(condition)yes-pattern|no-pattern)(?(condition)yes-pattern)
条件付き式. (condition) は括弧でくるまれた数値(対応する
括弧対がマッチしたときに有効), 先読み/後読み/ゼロ幅で評価される
言明, 角括弧mしくはシングルクオートでくるまれた名前(その
名前のバッファがマッチしたときに有効), 若しくは特殊なシンボル
(R) (再帰若しくは eval 内で評価されているときに真)の
いずれかです. 加えて R には数字(対応するグループ内で
再帰しているときに真), もしくは &NAME, こちらの時は
その名前のグループで再帰している時にのみ真, を続ける
こともできます.
可能な述語の要約を次に示します:
その番号のキャプチャバッファが何かにマッチしたかどうかを 調べます.
その名前のバッファが何かにマッチしたかどうかを 調べます.
コードブロックを条件として扱います.
式が再帰の中で評価されているかどうかを調べます.
式がそのn番目のキャプチャグループのすぐ内側で実行されて いるかどうかを調べます. これは次のものと等価な正規表現です,
if ((caller(0))[3] eq 'subname') { ... }言い換えると, これは完全な再帰スタックを調べるわけではありません.
(R1) と似ていて, この述語はその名前のつけられている
一番左のグループのすぐ内側で実行されているかどうかをしらべます(
一番左は (?NAME) と同じロジックです）.
これは完全なスタックを調べずに, 一番内部のアクティブな最近名前を
見ます.
この場合において, yes-pattern は直接は実行されず, no-pattern は
許可されていません. (?{0}) と似ていますがより効率的です.
詳細は次のようになります.
例:
m{ ( \( )?
[^()]+
(?(1) \) )
}xこれは括弧以外からなる固まりか括弧の中にあるそれらにマッチします.
(DEFINE) は特殊な形式で, これはその yes-pattern を
直接は実行せず, no-pattern も許可していません.
これは再帰メカニズムの中で利用することでのみ実行される
サブパターンの定義を許可します.
これによって, 選んだパターンと一緒に正規表現ルールを
定義することができます.
この使い方において, DEFINE ブロックはパターンの最後におくこと, そしてそこで定義する全てのサブパターンに名前をつけることが 推奨されています.
また, この方法によって定義されるパターンはその処理に関して そんなに賢い訳ではないので効率的でないことに 価値は何もないでしょう.
これをどのように使うかの例を次に示します:
/(?<NAME>(?&NAME_PAT))(?<ADDR>(?&ADDRESS_PAT))
(?(DEFINE)
(?<NAME_PAT>....)
(?<ADRESS_PAT>....)
)/x
再帰の内側でマッチしたキャプチャバッファは再帰から戻った後には
アクセスできないため. キャプチャバッファのこの1段増えた
レイヤは必要な点に注意してください. 従って $+{NAME}
が定義されていても $+{NAME_PAT} は定義されません.
(?>pattern)
"独立した"部分式, スタンドアロンの pattern が
その場所に固定されてマッチする部分文字列にマッチし,
その文字列以外にはなにもマッチしません.
この構成子は他の"外部"マッチになる最適化に便利です,
なぜならこれはバックトラックしないためです("バックトラック"参照).
これは "できる限りを取り込んで, 後は戻らない"セマンティクスが
必要な場所でも便利です.
例: ^(?>a*)ab は何もマッチしません,
なぜなら (?>a*) (前述のように, 文字列の開始で
固定されます)は文字列のはじめにある全ての文字 a にマッチし,
ab のマッチのための a を残さないためです.
対照的に, a*ab は a+b と同じようにマッチします,
これはサブグループ a* のマッチは次のグループ ab の
影響を受けるためです ("バックトラック"参照). 特に,
a*ab の中の a* は単独の a* より短い文字にマッチ
します, これによって最後のマッチが行えるようになります.
(?>pattern) と似た効果は (?=(pattern))\1
でも達成できます. これは単独の a+ と同じ部分文字列にマッチし,
それに続く \1 がマッチした文字列を消費します;
これはゼロ幅の言明が (?>...) の類似を作るためです.
(この2つの構成子は後者はグループをキャプチャするため,
それに続く正規表現の残りで後方参照の順序をずらす点で
違いがあります).
次のパターンを考えてみてください:
m{ \(
(
[^()]+ # x+
|
\( [^()]* \)
)+
\)
}x
これは2段階までの括弧でくるまれた空でないグループに
効率的にマッチします. しかしながら, これはマッチする
グループがなかったときに長い文字列においてはほとんど
永遠に戻りません. これは長い文字列をいくつかの部分
文字列に分解する方法がいくつもあるためです. これは
(.+)+ が行うことでもあり, (.+)+ は
このパターンの部分パターンと似ています. このパターンが
((()aaaaaaaaaaaaaaaaaa にはマッチしないことを
どうやって検出するかを少し考えてみましょう,
しかしここでは余計な文字を2倍にしてみます.
この指数的なパフォーマンスはプログラムの
ハングアップとして表面化します. しかしながら,
このパターンに小さな変更をいれてみます,
m{ \(
(
(?> [^()]+ ) # change x+ above to (?> x+ )
|
\( [^()]* \)
)+
\)
}x
これは上で行っているように (?>...) マッチを
使っています(これは自身で確認してみるとよいでしょう),
しかし 1000000 個の a からなる似た文字列を使ってみると,
4分の1の時間で完了します. しかしながら, このパターンは
現在のところ use warnings プラグマ若しくは -w スイッチ
の影響下では "正規表現において空文字列に何回もマッチ
しました (matches null string many times in regex)"
という警告を発するでしょう.
パターン (?> [^()]+ ) のような簡単なグループでは,
比較できる影響は [^()]+ (?! [^()] ) のように負の先読みの
言明で達することができます. これは 1000000 個の a からなる
文字列において4倍だけ遅くなります.
最初の ()* のような正しい解法となる多くの状況において
"できる限りを取り込んで, 後は戻らない"セマンティクスが
望まれるものです. 任意で(水平)白空白の続く # によって
区切られるコメントのついたテキストのパースを考えてみます.
その出現と対比して, #[ \t]* はコメント区切りにマッチする
正しい部分式ではありません, なぜならパターンの残りがそれの
マッチを作ることができるのならそれはいくつかの白空白を
"あきらめてしまう"ためです. 正しい回答は以下のいずれかです:
(?>#[ \t]*)
#[ \t]*(?![ \t])例えば空でないコメントを $1 に取り込むためには 次のいずれかを使います:
/ (?> \# [ \t]* ) ( .+ ) /x;
/ \# [ \t]* ( [^ \t] .* ) /x;選んだ方はコメントの仕様をより適切に反映した式に 依存します.
いくつかの書籍においてこの構成子は"アトミックなマッチ" 若しくは"強欲なマッチ(possessive matching)" と呼ばれます.
強欲な量指定子はそれが適用されている項目を これらの構成子の中に置くことと等価です. 以下の等式が適用されます:
Quantifier Form Bracketing Form
量指定子形式 ブラケット形式
--------------- ---------------
PAT*+ (?>PAT*)
PAT++ (?>PAT+)
PAT?+ (?>PAT?)
PAT{min,max}+ (?>PAT{min,max})警告: これらのパターンは実験的なものであり, Perl の今後のバージョンで変更若しくは削除される可能性があります. 製品コードでこれらを使う際にはアップグレードによる問題を 避けるために明記するべきです.
これらの特殊なパターンは (*VERB:ARG) という一般形式を
持っています. ARG が任意であると規定されていいないいくつかの
ケース以外では, それは拒否されます.
引数を許可する特殊バックトラック制御記号を含んでいる
全てのパターンは, それが実行されると現在のパッケージの
$REGERROR 及び $REGMARK 変数を設定する特殊な
振る舞いを持っています. これが行われる時
以下の手順が適用されます.
失敗時には $REGERROR 変数には, 記号がマッチの失敗の中で
使われていたのならその記号パターンの ARG の値がセットされます.
もしパターンの ARG 部分が省略されていたときには,
$REGERROR には最後に実行された (*MARK:NAME) パターンの
名前, 若しくはそれもなければ真に設定されます.
また, $REGMARK 変数は偽に設定されます.
マッチの成功時には, $REGERROR 変数は偽に設定され,
$REGMARK 変数には最後に実行された (*MARK:NAME) パターン
の名前が設定されます. 詳細は (*MARK:NAME) 記号の説明を
参照してください.
補足: $REGERROR 及び $REGMARK は $1 や他の多くの
正規表現関連の変数のようにマジック変数ではありません. それらは
スコープ内にローカルにならず, 読み込み専用でもありませんが,
$AUTOLOAD と似た揮発するパッケージ変数です.
必要時に特定のスコープ内に変更を留めたいときには local を
使ってください.
もしパターンが引数を許可する特殊バックトラック記号を
含んでなかった場合には, $REGERROR 及び $REGMARK は全く
触られません.
(*PRUNE) (*PRUNE:NAME)
このゼロ幅のパターンは失敗でバックトラックしてきたときに
現在の位置でバックトラックツリーを刈り取ります.
A (*PRUNE) B というパターンで A も B も複雑な
パターンである時を考えてみます. (*PRUNE) に達するまでは,
A はマッチに必要であればバックトラックしていきます.
しかしいったんそこに達して B に続くと, そこでも
必要にお維持手バックトラックします; しかしながら,
B がマッチしなかったときにはそれ以上のバックトラックは
行われず, 現在の開始位置でのマッチはすぐに失敗します.
次の例ではパターンに対してマッチできるすべての 文字列を(実際にはマッチさせずに)数えます.
'aaab' =~ /a+b?(?{print "$&\n"; $count++})(*FAIL)/;
print "Count=$count\n";この出力:
aaab
aaa
aa
a
aab
aa
a
ab
a
Count=9
次のように数える前に (*PRUNE) を加えると
'aaab' =~ /a+b?(*PRUNE)(?{print "$&\n"; $count++})(*FAIL)/;
print "Count=$count\n";バックトラックを妨げ次のように各開始位置での一番長いマッチを 数えるようになります:
aaab
aab
ab
Count=3
1つのパターン内で (*PRUNE) 言明はいくつでも使えます.
バックトラックを制御する他の方法として (?>pattern)
及び強欲な量指定子も参照してください. 幾つかのケースにおいては
(*PRUNE) の利用は機能的な違いなしに (?>pattern) で
置き換えることができます; しかしながら (*PRUNE) は
(?>pattern) 単独では表現できないケースを扱うために
使うことができます.
(*SKIP) (*SKIP:NAME)
このゼロ幅のパターンは *PRUNE と似ていますが,
実行されている (*SKIP) パターンまでにマッチした
テキストはこのパターンのどのマッチの一部にもならないことを
示します. これは正規表現エンジンがこの位置まで失敗として
"スキップ"して(マッチに十分な空間があれば)再びマッチを
試みることを効率的に意味します.
(*SKIP:NAME) パターンの名前部分には特別な意味があります.
もしマッチにおいて (*MARK:NAME) に遭遇すると,
それは"スキップ位置"として使われる位置になります.
その名前の (*MARK) と東宮していなければ, (*SKIP)
操作は効果を持ちません. 名前がなければ"スキップ位置"は
(*SKIP)パターンの実行されたときにマッチポイントが
使われます.
以下の例を (*PRUNE) と比べてみてください,
文字列が2倍になってることに注意してください:
'aaabaaab' =~ /a+b?(*SKIP)(?{print "$&\n"; $count++})(*FAIL)/;
print "Count=$count\n";出力
aaab
aaab
Count=2
いったん文字列の最初の 'aaab' がマッチして,
(*SKIP) が実行されると, 次の開始位置は (*SKIP) が
実行されたときのカーソルがいた位置になります.
(*MARK:NAME) (*:NAME)
このゼロ幅のマッチはパターン内の特定の箇所がマッチに成功
したときに, 文字列の中で達した位置を記録するために
使われます. このマークには名前をつけることもできます.
後者の (*SKIP) パターンは失敗時でバックトラックしたときに
その箇所までスキップします. (*MARK) パターンはいくつでも
使うことができて, NAME 部分は省略可能であり重複することもあります.
(*SKIP) パターンとの相互動作に加えて,
(*MARK:NAME) はパターン分岐の"ラベル"としても
使うことができます, このためマッチの後で, プログラムは
そのマッチにおいてパターンのどの分岐が使われたのかを
知ることができます.
マッチの成功時に, $REGMARK 変数はマッチの中で
一番最近に実行された (*MARK:NAME) の名前を設定します.
これは書く分岐で別々のキャプチャバッファを使うことなしに
パターンのどの分岐がマッチしたのかを知るために使うことが
できます, これは perl は /(?:(x)|(y)|(z))/ を
/(?:x(*MARK:x)|y(*MARK:y)|z(*MARK:z))/ 程度に効率的には
最適化できないためパフォーマンスの向上をもたらします.
マッチが失敗して, そして他の記号がマッチの失敗で
行われずかつ名前を持っているというのでなければ, $REGERROR
変数には一番最近に実行された名前が設定されます.
詳細は (*SKIP) を参照してください.
(*MARK:NAME) の短縮形として (*:NAME) をも記述できます.
(*THEN) (*THEN:NAME)
これは Perl 6 の "cut group" 演算子 :: と似ています.
(*PRUNE) のように, この記号は常にマッチし, そして
失敗でバックトラックした時に正規表現エンジンに
一番内側で閉じているグループ(キャプチャでもそうでなくとも)
で次の代替を試みるようにさせます.
この名前は代替演算子(|) と連結されたこの演算子で
本質的にパターンベースの if/then/else ブロックとなる
ものを作るために使うことができることからきています:
( COND (*THEN) FOO | COND2 (*THEN) BAR | COND3 (*THEN) BAZ )
この演算子が使われていてそしてそれが代替の内側ではなければ
これはちょうど (*PRUNE) 演算子のように動作します.
/ A (*PRUNE) B /は次と同じです
/ A (*THEN) B /しかし
/ ( A (*THEN) B | C (*THEN) D ) /は次と同じではありません
/ ( A (*PRUNE) B | C (*PRUNE) D ) /
A にマッチしたけれど B に失敗した後 (*THEN) 記号は
バックトラックして C を試みます; しかし
(*PRUNE) 記号であれば単純に失敗します.
(*COMMIT)
これは Perl 6 の"コミットパターン" <commit> 若しくは
::: です. これは (*SKIP) と似たゼロ幅のパターンですが,
失敗でバックトラックした際にマッチがすぐに失敗する点で異なります.
それ以降で開始位置を進めて有効なマッチを探す試行は行われません.
例えば,
'aaabaaab' =~ /a+b?(*COMMIT)(?{print "$&\n"; $count++})(*FAIL)/;
print "Count=$count\n";は次を出力します
aaab
Count=1
言い換えると, いったん (*COMMIT) に入った後に,
そのパターンがマッチしなかったのなら, 正規表現エンジンは
文字列の残りに対してそれ以上のマッチを試みません.
(*FAIL) (*F)
このパターンは何にもマッチせず常に失敗します.
これはエンジンを強制的にバックトラックさせるために
使うことができます. これは (?!) と等価ですが,
より読みやすくなっています. 実際, (?!) は内部的には
(*FAIL) に最適化されます.
これはおそらく (?{}) 若しくは (??{}) と組み合わせた
時にだけ役に立つでしょう.
(*ACCEPT)警告: この機能は強く実験的です. 製品コードでは推奨されません.
このパターンマッチは何もせず (*ACCEPT) パターンと遭遇した場所で
文字列の中で実際にもっとマッチするものがあるかどうかにかかわらず
成功のマッチを終了させます. 再帰, 若しくは (??{}) といった
ネストしたパターンの内側では, 一番内側のパターンのみがすぐに終了します.
(*ACCEPT) がキャプチャバッファの内側で使われた場合
キャプチャバッファは (*ACCEPT) と遭遇した位置で
終了とマークされます. 例えば:
'AB' =~ /(A (A|B(*ACCEPT)|C) D)(E)/x;
はマッチし, $1 は AB になり, $2 は B に, そして
$3 は設定されません. 'ACDE' のように括弧の内側で他の分岐が
マッチしたのなら, D 及び E もマッチします.
補足: このセクションでは正規表現の振る舞いに関する抽象的な概要を 説明します. 可能な代替におけるマッチの選択における ルールの厳密な(そして複雑な)説明は "Combining RE Pieces" を 参照してください.
正規表現マッチの基本的な機能には
最近(必要であれば)すべての強欲でない正規表現量指定子, つまり,
*, *?, +, +?, {n,m}, そして {n,m}? で
使われるバックトラッキングと呼ばれる概念が含まれています.
正規表現がマッチ知る時, その正規表現の一部ではなく, 全体がマッチしなければなりません.そのためもしパターンの 前半にパターンの後半部分を失敗させてしまう量指定子が含まれて いるのなら, マッチングエンジンはいったん戻って開始位置を再計算します -- これがバックトラッキングと呼ばれる所以です.
バックトラッキングの例をあげてみます: "Foo is on the foo table." という文字列の中で "foo" に続く単語を取り出してください:
$_ = "Food is on the foo table.";
if ( /\b(foo)\s+(\w+)/i ) {
print "$2 follows $1.\n";
}
マッチが実行される時, 正規表現の最初の部分 (\b(foo)) は開始文字列の
右側で可能なマッチを探します, そして $1 に "Foo" をロードします.
しかし, すぐにマッチエンジンは $1 に保存した "Foo" の後に白空白が
無いことを見つけ, それが失敗だったことを検出して仮にマッチさせた
場所の1文字後から開始します. この時次の "foo" の出現まで進みます.
この時に正規表現は完全にマッチし, 予測した出力 "table follows foo." を
得ます.
最小マッチが役立つこともあります. "foo" と "bar" の間の全てにマッチしたいと考えてください. 最初に, 次のように書くかもしれません:
$_ = "The food is under the bar in the barn.";
if ( /foo(.*)bar/ ) {
print "got <$1>\n";
}しかしこれは考えたのと違う結果となるでしょう:
got <d is under the bar in the >
これは .* が貪欲であり, そのために最初の "foo" と
最後の "bar" の間にある全てを取り出してしまいます.
次に "foo" とその後の最初の "bar" の間にあるテキストを
取り出す最小マッチを使ったもっと効率的な方法を示します:
if ( /foo(.*?)bar/ ) { print "got <$1>\n" }
got <d is under the >別の例も出してみます. 文字列の最後にある数字にマッチさせて, そのマッチの前の部分も保持させてみましょう. そしてあなたは次のように書くかもしれません.
$_ = "I have 2 numbers: 53147";
if ( /(.*)(\d*)/ ) { # Wrong!
print "Beginning is <$1>, number is <$2>.\n";
}
これは全く動作しません, なぜなら .* は貪欲であり
文字列全体を飲み込んでしまいます. \d* は空の文字列に
マッチできるので正規表現は完全に正常にでマッチします.
Beginning is <I have 2 numbers: 53147>, number is <>.動作しない主なバリエーションをあげておきます:
$_ = "I have 2 numbers: 53147";
@pats = qw{
(.*)(\d*)
(.*)(\d+)
(.*?)(\d*)
(.*?)(\d+)
(.*)(\d+)$
(.*?)(\d+)$
(.*)\b(\d+)$
(.*\D)(\d+)$
};
for $pat (@pats) {
printf "%-12s ", $pat;
if ( /$pat/ ) {
print "<$1> <$2>\n";
} else {
print "FAIL\n";
}
}これらの結果は次のようになります:
(.*)(\d*) <I have 2 numbers: 53147> <>
(.*)(\d+) <I have 2 numbers: 5314> <7>
(.*?)(\d*) <> <>
(.*?)(\d+) <I have > <2>
(.*)(\d+)$ <I have 2 numbers: 5314> <7>
(.*?)(\d+)$ <I have 2 numbers: > <53147>
(.*)\b(\d+)$ <I have 2 numbers: > <53147>
(.*\D)(\d+)$ <I have 2 numbers: > <53147>このように, これは幾分トリッキーです. 重要なのは正規表現は成功の定義を定める主張の集合にすぎない ことを認識することです. 特定の文字列で成功となる定義には 0, 1, 若しくは複数の違ったやり方が存在します. そしてもし成功する複数の方法が存在するのなら 成功したうちのどれが目的とするものなのかを 知るためにバックトラッキングを理解しておく必要があります.
前読みの言明及び否定を使っている時には これはますますトリッキーになります. "123" が後ろに続かない数字以外の列を探したいと考えてみてください. あなたは次のように書くかもしれません.
$_ = "ABC123";
if ( /^\D*(?!123)/ ) { # Wrong!
print "Yup, no 123 in $_\n";
}ですがこれはマッチしません; 少なくともなってほしかったようには. これは文字列の中に 123 がないことを要求します. よくある予想と比較してなぜパターンがマッチするのかの わかりやすい説明を次にしめします:
$x = 'ABC123';
$y = 'ABC445';
print "1: got $1\n" if $x =~ /^(ABC)(?!123)/;
print "2: got $1\n" if $y =~ /^(ABC)(?!123)/;
print "3: got $1\n" if $x =~ /^(\D*)(?!123)/;
print "4: got $1\n" if $y =~ /^(\D*)(?!123)/;これは次の出力となります
2: got ABC
3: got AB
4: got ABC
テスト3はテスト1のより一般的なバージョンなので
それが失敗すると考えたかもしれません. この2つの
重要な違いは, テスト3には量指定子(\D*)が含まれているので
テスト1ではできなかったバックトラッキングを行うことが
できるところにあります. ここであなたは "$x のはじめで
0個以上の非数字があるから 123 じゃない何かを得られるんじゃないの？"
と聞くでしょう. このパターンマッチが \D* を "ABC" に展開させると
これはパターン全体を失敗させることになります.
探索エンジンは最初に \D* を "ABC" にマッチさせます.
そして (?!123) を "123" にマッチさせ,
これは失敗します. けれども量指定子 (\D*) が
正規表現の中で使われているので, 探索エンジンはバックトラックして
この正規表現全体をマッチさせるように異なるマッチを
行うことができます.
このパターンは本当に, 本当に成功したいので,
これは標準的なパターンの後退再試行を行い,
この時に \D* を "AB" のみに展開させます.
そして確かに "AB" の後ろは "123" ではありません.
"C123" は十分満たしています.
これは言明と否定の両方を使うことで処理することができます. $1 の最初の部分は数字が続きかつそれは "123" ではないことを 宣言します. 先読みはゼロ幅の式なのでそれが マッチした文字列を全く消費しないことを思い出してください. そしてこれを必要なものを生成するように書き換えます; つまり, 5 のケースでは失敗し, 6 のケースは成功します:
print "5: got $1\n" if $x =~ /^(\D*)(?=\d)(?!123)/;
print "6: got $1\n" if $y =~ /^(\D*)(?=\d)(?!123)/;
6: got ABC
言い換えると, このそれぞれの次にある2つのゼロ幅の言明は
ちょうど何か組み込みの言明を使ったかのように
それらがともに AND されているかのように動作します:
/^$/ は行の始まりで且つ同時に行の終了でる時にのみ
マッチします. もっと深部での真実は, 併記された正規表現は
垂直線を使って明示的に OR を書いたとき以外は常に
AND を意味します. /ab/ は, "a" がゼロ幅の言明ではなく
1文字幅の言明なので異なる場所でマッチが行われはしますが,
"a" にマッチ且つ(そして) "b" にマッチということを意味します.
警告: 特にコンパイルされた正規表現はマッチのために できる限りのバックトラックを非常に多くの回数行うので 解くために指数的な時間を必要とすることがあります. 例えば, 正規表現エンジンの内部で行われる 最適化がなかったときには, 次の評価は尋常じゃないくらい 長時間かかります:
'aaaaaaaaaaaa' =~ /((a{0,5}){0,5})*[c]/
そしてもし内側のグループで 0 から 5 回にマッチを制限する代わりに
* を使うと, 永久に, 若しくはスタックを使い果たすまで
実行し続けることになります. その上, これらの最適化は
常にできるわけではありません. 例えば, 外側のグループで
* の代わりに {0,5} を使ったときに, 現在の
最適化は適用されません, そしてマッチが終わるまでの
長い時間が必要になります.
そのような野獣のような最適化のための パワフルなツールとして知られているものに, "独立グループ" があります, これはバックトラックを行いません ("C<< (?>pattern)" を参照). ゼロ幅の先読み/後読みの言明も"論理的な"文脈なので 末尾のマッチをバックトラックしません: マッチが関連して 考慮されるかどうかだけです. 先読みの言明の副作用が それに続くマッチに影響するかもしれない例は, "C<< (?>pattern)" を参照してください.
"通常の"バージョン 8 正規表現ルーチンに詳しくないので あれば, ここにはこれまでに説明されていないパターンマッチ ルールがあります.
すべての単一の文字は, それが個々で若しくはこれまでに 説明した特別な意味を持っているメタ文字である場合 意外は, 文字それ自身にマッチします. 文字は "\" で前置されることで通常はメタ文字としての 機能を持っている文字をリテラルとして処理させれるように なります(つまり, "\." は任意の1文字ではなく "." にマッチするようになり. "\\" は "\" に マッチするようになります. このエスケープ機構は パターン区切りとして使われている文字でも必要です.
一連の文字は対象とする文字列の中で同じ一連の文字列に
マッチします, なので blurfl というパターンは
対象とする文字列の中の "blurfl" にマッチします.
[] で文字のリストを囲むことで文字クラスを
指定することができます, これはリストの中の
任意の文字にマッチします. もし "[" の後の
最初の文字が "^" だったときには, その文字クラスは
リストの中にない任意の文字にマッチします.
リストの中では, 文字 "-" は範囲を意味します,
なので a-z は "a" と "z" を含めてそれらの間にある
すべての文字を表現します,
文字クラスの要素として "-" 若しくは "]" を使いたい時には,
リストの先頭に(あるいは"^"の後に)置くか,
バックスラッシュを使ってエスケープします.
"-" はリストの終端, リストを閉じる "]" の直前にあったときも
リテラルとして扱われます.
(次の例はすべて同じ3文字からなる文字クラスです:
[-az], [az-], そして [a\-z]. これらはすべて
EBCDICベースの文字集合であっても26文字からなる文字集合
[a-z] とは異なります.) また, 範囲の端点として
文字クラス \w, \W, \s, \S, \d,
若しくは \D を使ったときも "-" はリテラルとして
処理されます.
範囲全体というアイデアは文字集合間で ポータブルではありません -- そして 結果となる文字集合では予期したものではないでしょう. 音の原則では同じケースの英字の([a-e], [A-E]), 若しくは数字([0-9])という範囲でのみ使われています. これ以外は安全ではありません. もし信じられないのであれば 文字集合を完全につづってみてください.
文字は C でよく使われているようなメタ文字の構文を
使ってしているすることもできます: "\n" は改行に
マッチし, "\t" はタブに, "\r" は復帰に,
"\f" はフォームフィードにといった具合にマッチします.
より一般的に, \nnn (nnn は8進数字) は
その文字集合でコード値 nnn の文字にマッチします.
同じように, , \xnn (nn は16進数字) は
数値で nnn になる文字にマッチします.
式 \cx は制御文字 x にマッチします.
そして最後に, "." メタ文字は "\n" 以外の任意の文字に
マッチします(/sを使っているとき以外).
"|" を使ってパターンを区切って一連の代替を指定する
こともできます, なので fee|fie|foe は対象の文字列の
"fee", "fie", 若しくは "foe" のいずれかに (f(e|i|o)e
のように)マッチします. 最初の代替には最後のパターン区切り
("(", "[", 若しくはパターンの始まり)から最初の
"|" までのすべてが含まれ, 最後の代替には最後の "|" から
次のパターン区切りまでが含まれます. 通常代替を括弧の中に
入れるのは, その開始位置と終了位置が少しはわかりやすく
なるようにです.
代替は左から右へと試されます, なので最初の代替が
その完全な式でマッチしたのならそれが選択されます.
これは代替は貪欲である必要はないということを意味します.
例えば: "barefoot" に対して foo|foot をマッチさせると,
最初の代替から試されるので, "foo" の部分がマッチし,
これは対象の文字列に対して成功でマッチします.
(これは重要ではないでしょうが, 括弧を使ってマッチした
テキストをキャプチャしているときには重要でしょう).
また "|" は角括弧の中ではリテラルとして処理されるので,
[fee|fie|foe] と書くとこれは実際には [feio|] にのみ
マッチします.
パターンにおいて, 後で参照するために括弧で括って
部分パターンを指定することができます, そしてメタ文字 \n
を使ってパターンの後の方で n 番目の部分パターンを
参照することができます. 部分パターンは
その開き括弧の左から右への順に番号づけられます.
後方参照は評価された文字列の中でその部分パターンに
実際にマッチしたものにマッチします. 従って,
(0|0x)\d*\s\1\d* は "0x1234 0x4321" には
マッチしますが, "0x1234 01234" にはマッチしません,
なぜなら, 0|0x は2つめ数字の
の先頭にある 0 にマッチすることができるのですが,
部分パターン 1 は "0x" にマッチするためです.
次のように書くことになれている人も中にはいるでしょう:
$pattern =~ s/(\W)/\\\1/g;
sed 中毒な人をびっくりさせないための
RHS 置換の祖先ですが, しかしこれは汚らしい癖です.
Perl においては, s/// の右側はダブルクオートされた
文字列と考えられるためです.
通常のダブルクオートされた文字列の中では \1 は
control-A を意味します. \1 の Unix での
習慣的な意味は s/// だけのその場しのぎです.
しかしながら, この癖に漬かっていると /e 修飾子を
使ったときにトラブルとなるでしょう.
s/(\d+)/ \1 + 1 /eg; # causes warning under -w若しくは次のようにするかもしれません
s/(\d+)/\1000/;
これを解消するために \{1}000 としないでください,
ここでは ${1}000 とするべきです. 埋め込みの処理は
後方参照にマッチさせる操作より混乱は少ないでしょう.
特に s/// の左側では2つの異なった意味になります.
警告: この先には難しい(そして無味乾燥な)物体が あります. このセクションは書き直す必要があるでしょう.
正規表現は簡潔でパワフルなプログラミング言語を 提供します. 他の多くの強力なツールとともに, 力は破壊の源にもなります.
この力のよくある乱用は無害な何かとともに, 正規表現使った無限ループとなります.
'foo' =~ m{ ( o? )* }x;
o? は 'foo' の始まりにマッチし,
文字列中での位置はこのマッチでは動かないので,
o? は * 量指定子によって何回もマッチします.
同じような繰り返しを作るもう一つのよくある形として
//g 修飾子を使ったループがあります:
@matches = ( 'foo' =~ m{ o? }xg );若しくは
print "match: <$&>\n" while 'foo' =~ m{ o? }xg;若しくは split() による暗黙のループ.
しかしながら, 長きにわたる経験から いくつかのプログラミングタスクはゼロ幅の部分文字列 に対するマッチを行う部分式の繰り返しで 大幅に単純にできることがわかりました. 簡単な例を挙げてみます:
@chars = split //, $string; # // is not magic in split
($whitewashed = $string) =~ s/()/ /g; # parens avoid magic s// /
このように Perl は強制的に無限ループを砕くことによって
こういった構築を可能にしています. このためのルールは
貪欲な量指定子 *+{} によって与えられる
低レベルなループとも, /g 修飾子や split() 演算子による
高レベルなループとも異なります.
低レベルなループは Perl がゼロ幅の部分文字列に 対してマッチする式が繰り返されたことを検出すると 中断されます (つまり, ループは壊されます)>
m{ (?: NON_ZERO_LENGTH | ZERO_LENGTH )* }x;は次と等価にされます
m{ (?: NON_ZERO_LENGTH )*
|
(?: ZERO_LENGTH )?
}x;高レベルのループは各繰り返しの間に最後のマッチが ゼロ幅だったかどうかを追加で保持しています. ループを終えるために, ゼロ幅のマッチの後のマッチは ゼロ幅となることを拒否します. この禁則処理は バックトラックと相互に動作し("バックトラッキング"参照), そして ベストなマッチがゼロ幅だったのなら 2番目にベストな マッチが選択されます.
例:
$_ = 'bar';
s/\w??/<$&>/g;
これは <><b><><a><><r><> となります.
文字列の各位置に於いて, 貪欲でない ?? によって
得られるベストなマッチは ゼロ幅のマッチです,
そして 2番目にベストなマッチは \w によって
マッチするものです. 従ってゼロ幅のマッチは
1文字幅のマッチの代替となります.
同じように, m/()/g の繰り返しでは
文字列中の境界1つ遠い位置に2番目にベストな
マッチがマッチします.
ゼロ幅にマッチしているという追加の状態は
マッチした文字列に関連づけられていて, pos() に対する
割り当てによってリセットされます.
前のマッチの終端でのゼロ幅のマッチは split の
間は無視されます.
これまでに説明された (ab や \Z といった)
正規表現の基本的な欠片それぞれは, 入力文字列上の
与えられた位置で多くとも1つの部分文字列にマッチします.
しかしながら, 典型的な正規表現ではこれらの基本的な
欠片は結合演算 ST, S|T, S* 等(ここで S
や T は正規表現の部分式)を使ってより複雑な
パターンへと合成することができます.
このような合成には選択の問題を導くために代替を
含めることができます: 正規表現 a|ab を
"abc" に対してマッチさせようとしたとき, これは
"a" と "ab" のどちらにマッチするのか?
実際にどちらがマッチするのかを説明する1つの方法として,
バックトラッキングのコンセプトがあります("Backtracking"
参照). しかしながら, この説明は低レベルすぎて
特定の実装を考えなければなりません.
もう一つの説明は"より良い"/"より悪い"の考え方で 始めます. 与えられた正規表現にマッチするすべての 部分文字列は"最良の"マッチから"最悪の"マッチへと ソートすることができます, そして "最良の"マッチが 選択されます. これは"どれが選ばれるのか?"という問いかけを "どのマッチがより良くて, それがより悪いのか?"という 問いかけに置き換えることができます.
そして, 基本的な要素ではそういった問いかけはありません,
なぜならこれらは与えられた位置で可能なマッチは
多くとも1つだからです. このセクションでは
結合演算のより良い/より悪いの考え方で説明していきます.
以下の説明では S 及び T は正規表現の部分式です.
ST
2つの可能なマッチ, AB 及び A'B' を考えます,
ここで A 及び A' は S にマッチする部分文字列,
そして B 及び B' は T にマッチする部分文字列とします.
もし A が S に対して A' よりも良いマッチであれば,
AB は A'B' よりも良いマッチです.
もし A と A' が同じであれば: B が T に対して
B' よりも良いマッチであれば AB は AB' よりも良いマッチです.
S|T
S がマッチできる時は T のみがマッチするよりも良いマッチです.
S に対する2つのマッチの順序は S と同じです.
T に対する2つのマッチも同様です.
S{REPEAT_COUNT}
SSS...S (必要なだけ繰り返し)としてマッチします.
S{min,max}
S{max}|S{max-1}|...|S{min+1}|S{min} としてマッチします.
S{min,max}?
S{min}|S{min+1}|...|S{max-1}|S{max} としてマッチします.
S?, S*, S+
それぞれ S{0,1}, S{0,BIG_NUMBER}, S{1,BIG_NUMBER} と同じです.
S??, S*?, S+?
それぞれ S{0,1}?, S{0,BIG_NUMBER}?, S{1,BIG_NUMBER}? と同じです.
(?>S)
S の最良のみマッチします.
(?=S), (?<=S)
S の最良のマッチのみが考慮されます.
(これは S がキャプチャ括弧を持っていて, そして正規表現全体の
どこかで後方参照が使われている時のみ重要です.)
(?!S), (?<!S)
このグループ演算子では, S がマッチできるかどうかのみが重要なので,
順序についての説明は必要ありません.
(??{ EXPR }), (?PARNO)順序は EXPR の結果の正規表現, 若しくはキャプチャバッファ PARNO に含まれているパターンと同じです.
(?(condition)yes-pattern|no-pattern)
既に決定している yes-pattern 若しくは no-pattern を
実際にマッチさせます. マッチの順序は選択された
部分式と同じです.
ここにあげたレシピは与えられた位置でのマッチの順序について 説明しています. 正規表現全体でマッチがどのように決定されるかを 理解するためにはもう少しルールが必要です: より若い位置でのマッチは後ろの方でのマッチよりもより良いです.
オーバーロードされた定数(overload 参照)を使って RE エンジンの機能を拡張する簡単な方法を提供することができます.
新しい正規表現エスケープシーケンス, 白空白文字と非白空白文字との
境界にマッチする \Y| を作ってみることにします.
この位置には実際には (?=\S)(?<!\S)|(?!\S)(?<=\S) がマッチするので,
この複雑なバージョンを \Y| で置き換えたいとします.
このために customre モジュールを作ります:
package customre;
use overload;
sub import {
shift;
die "No argument to customre::import allowed" if @_;
overload::constant 'qr' => \&convert;
}
sub invalid { die "/$_[0]/: invalid escape '\\$_[1]'"}
# We must also take care of not escaping the legitimate \\Y|
# sequence, hence the presence of '\\' in the conversion rules.
my %rules = ( '\\' => '\\\\',
'Y|' => qr/(?=\S)(?<!\S)|(?!\S)(?<=\S)/ );
sub convert {
my $re = shift;
$re =~ s{
\\ ( \\ | Y . )
}
{ $rules{$1} or invalid($re,$1) }sgex;
return $re;
}
これで use customre することで正規表現定数の中で
新しいエスケープを使うことが出来ます, すなわち,
これには何の実行時変数の埋め込みもいりません.
overload に書かれているように, この変換は
正規表現のリテラル部分にのみ動作します. \Y|$re\Y| であれば
この正規表現の変数部分は明示的に変換する必要があります
(とはいえ $re の中でも \Y| を有効にしたい時のみ).
use customre;
$re = <>;
chomp $re;
$re = customre::convert $re;
/\Y|$re\Y|/;Perl 5.10.0 時点では Perl は幾つかの Python/PCRE 的な 正規表現構文拡張をサポートします. Perl プログラマはこれらの Perl としての構文を推奨しますが, 以下の物も受理されます:
(?P<NAME>pattern)
名前付のキャプチャバッファの定義. (?<NAME>pattern) と等価.
(?P=NAME)
名前付キャプチャバッファへの後方参照. \g{NAME} と等価.
(?P>NAME)
名前付きキャプチャバッファへの関数呼び出し. (?&NAME) と等価.
このドキュメントは完全にそして徹底的に不明瞭に理解するには 難しくありません. jargon に満ちたとりとめのない散文は 幾つかの箇所で理解するのに難儀ではあるでしょう.
このドキュメントはリファレンスの内容からチュートリアルを分離して 書き直す必要があるでしょう.
"Regexp Quote-Like Operators" in perlop.
"Gory details of parsing quoted constructs" in perlop.
Mastering Regular Expressions by Jeffrey Friedl, published by O'Reilly and Associates.
山科 氷魚 (YAMASHINA Hio) <hio@hio.jp>原典: perl VERSION 5.10.0. 翻訳日: 2007-12-25. (perl-5.9.5, 2007-08-14)