OpenGL/Vulkanの互換性テストプログラム (VK-GL-CTS)を実行すると、結果としてTestResults.qpaというファイルが得られるがこのファイルのサマリを抽出するプログラムがすぐに見当たらなかった。公式ウェブサイトでは、Cherryというツールが挙げられているのだが、すぐにqpaファイルの内容を調べたい場合にはやや不便。

TestResults.qpaはどうもbase64テキストでエンコードされたpng画像を含んでいるらしく、deqp-vkなどを長時間流した際にできてくるTestResults.qpaはギガバイト単位になる。OpenGLはそれほどではないが、qpaが生成される点は同じ。エディタで中身を開いてみると下記のようなbeginTestCaseResultとendTestCaseResultで囲まれたXMLファイルの繰り返しである。

#beginTestCaseResult dEQP-EGL.info.version
<?xml version="1.0" encoding="UTF-8"?>
<TestCaseResult CasePath="dEQP-EGL.info.version" Version="0.3.4" CaseType="SelfValidate">
 <Text>1.4</Text>
 <Number Name="TestDuration" Description="Test case duration in microseconds" Tag="Time" Unit="us">13877</Number>
 <Result StatusCode="Pass">Pass</Result>
</TestCaseResult>

#endTestCaseResult

であるなら、やることは下記のような手動パースである。このプログラムはUbuntu24.04の特に何も追加していない状態のpython3で動くことを確認している。

#!/usr/bin/env python3

import sys
import re
import xml.etree.ElementTree as ET

def process(f):    
    caseresult = ''
    with open(f) as qpafile:
        for line in qpafile:
            if line.startswith('#beginTestCaseResult'):
                caseresult = ''
                continue
            if line.startswith('#endTestCaseResult'):
                et = ET.fromstring(caseresult)
                name = et.attrib['CasePath']
                ok = et.find('Result').attrib['StatusCode']
                print(name, ok)
                continue
            caseresult += line

if __name__ == '__main__':
    for f in sys.argv[1:]:
        process(f)

これをgl-vk-parse-qpa.pyとして保存しておき実行権限を与えておく。外側から下記のbashプログラムでさらに処理をする。

#!/usr/bin/env bash

if [[ ! -f qpa-summary.txt ]]; then
    ./gl-vk-parse-qpa.py *.qpa > qpa-summary.txt
fi

echo $(cat qpa-summary.txt | wc -l) "test results"

if [[ ! -f qpa-summary-caselist.txt ]]; then
    cat qpa-summary.txt | cut -d\  -f1 | sort | uniq > qpa-summary-caselist.txt
    cat qpa-summary.txt | cut -d\  -f2 | sort | uniq > qpa-summary-statuscode.txt
fi

echo $(cat qpa-summary-caselist.txt | wc -l) "test cases"

for l in 1 2 3 4; do
    if [[ ! -f qpa-summary-caselist-l${l}.txt ]]; then
        cat qpa-summary-caselist.txt | cut -d\. -f1-$l | uniq > qpa-summary-caselist-l${l}.txt
    fi
    echo $(cat qpa-summary-caselist-l${l}.txt | wc -l) "test group at l$l"
done

for l in 1 2 3; do
    while read -r line; do
        T=$(grep ^$line qpa-summary-caselist.txt | wc -l)
        P=$(grep ^$line.*\ Pass$ qpa-summary.txt | wc -l)
        N=$(grep ^$line.*\ Fail$ qpa-summary.txt | wc -l)
        F=$(grep ^$line.*\ NotSupported$ qpa-summary.txt | wc -l)
        Q=$(grep ^$line.*\ QualityWarning$ qpa-summary.txt | wc -l)
        printf "%-40s Total=%7d Pass=%7d NotSupported=%6d Fail=%6d QualityWarning=%6d\n" $line $T $P $N $F $Q
    done < qpa-summary-caselist-l${l}.txt
done

こちらも同じくgl-vk-cts-summary.shとして保存し、実行権限を与えておく。適当にdeqp-vkやcts-runnerを実行して得られたqpaファイルをカレントディレクトリに配置した状態で実行すると、下記のような表示が得られる。

1328765 test results
1324037 test cases
7 test group at l1
30 test group at l2
189 test group at l3
1650 test group at l4
CTS-Configs                              Total=     15 Pass=     15 NotSupported=     0 Fail=     0 QualityWarning=     0
dEQP-EGL                                 Total=   3783 Pass=   1001 NotSupported=     0 Fail=  2781 QualityWarning=     1
dEQP-GLES2                               Total=  17153 Pass=  17036 NotSupported=     6 Fail=   111 QualityWarning=     0
dEQP-GLES3                               Total=  14227 Pass=  14227 NotSupported=     0 Fail=     0 QualityWarning=     0
dEQP-VK                                  Total=1288385 Pass= 319294 NotSupported=    51 Fail=970632 QualityWarning=     4
KHR-GLES2                                Total=    473 Pass=   3360 NotSupported=     0 Fail=   245 QualityWarning=     0
KHR-NoContext                            Total=      1 Pass=      1 NotSupported=     0 Fail=     0 QualityWarning=     0
...

これは前半のみを抽出したもの。少しprint部分を改造すればmarkdownの表もあっという間に作ることができる。

表示に関してはこれで十分だが、bashのスクリプトの集計ロジックはまだまだ改良が必要。例えば、同じテストケースを何度も実行した場合にはその回数だけPassならPassが増えていくので全部足してもTotalにならない。ちなみにこのmarkdown表を作ったときの出力部分は下記

printf "|%-40s |%7s |%7s |%6s |%6s |%6s|\n" testcase Total Pass NotSupported Fail QualityWarning
printf "|---|---:|---:|---:|---:|---:|\n"
for l in 1 2 3; do
    while read -r line; do
        T=$(grep ^$line qpa-summary-caselist.txt | wc -l)
        P=$(grep ^$line.*\ Pass$ qpa-summary.txt | wc -l)
        N=$(grep ^$line.*\ Fail$ qpa-summary.txt | wc -l)
        F=$(grep ^$line.*\ NotSupported$ qpa-summary.txt | wc -l)
        Q=$(grep ^$line.*\ QualityWarning$ qpa-summary.txt | wc -l)
        printf "|%-40s |%7d |%7d |%6d |%6d |%6d|\n" $line $T $P $N $F $Q
    done < qpa-summary-caselist-l${l}.txt
done

本当に、bashのprintとmarkdownの表は相性がいい。にしても、この形の集計ツールくらいCTSの一部としてありそうなものなのだが。。