Benchmark-Ergebnisse ==================== - Es sollen Laufzeit- und Speichermessungen fuer verschiedene Benchmarks in einer Datenbank gespeichert werden. Insbesondere sollen die Tabellen auf der Seite http://users.informatik.uni-halle.de/~brass/push/bench.html aus den Daten in der Datenbank erzeugt werden. - Benchmarks haben einen Namen und ein logisches Programm (einen Text). Man kann das logische Programm als Sammlung von Sichtdefinitionen verstehen. - Von Benchmarks gibt es unterschiedliche Varianten, also ggf. mehrere verschiedene Anfragen an das Programm. - Ausserdem kann eine Variante des Benchmarks auf unterschiedliche Daten-Dateien (Datenbank-Zustaende). - Eine Variante eines Benchmarks wird mit einer Daten-Datei auf einem Rechner von einem deduktiven Datenbank-System ausgefuehrt. Dabei koennen mehrere Zeiten gemessen werden (z.B. Zeit zum Laden der Daten und Zeit zum Ausfuehren der Anfrage). Die Zeiten sind aber abhaengig vom Benchmark. Zur System-Implementierung werden z.B. auch Laufzeiten von Tests von Datenstrukturen zur Abspeicherung von Reationen gemessen, z.B. Zeit zum Einfuegen, Zeit zum Abfragen, etc. Zu jedem Benchmark gibt es aber eine Gesamt-Laufzeit, als "Wallclock-Time" (Realzeit) und als CPU-Zeit, wobei die CPU-Zeit noch nach User-Modus und System-Modus aufgeteilt ist. Ausserdem wird die maximale residente Speichergroesse waehrend der Ausfuehrung des Benchmarks gemessen. Man schaue sich z.B. die Ausgabe von /usr/bin/time an. Damit werden die Benchmarks unter Linux ausgefuehrt. Die uebrigen Zeiten sind vom Programm selbst durch Betriebssystem-Abfragen gemessen. Sie liegen auch jeweils in einer Realzeit und einer CPU-Zeit Version vor (hier aber nicht getrennt nach User und System-Modus). Selbstverstaendlich ist auch zu speichern, wann der Benchmark durchgefuehrt wurde, und von wem (im Projekt arbeiten ggf. mehrere Mitarbeiter bzw. Studierende). Es ist auch moeglich, dass besondere Optionen fuer das System gesetzt wurden, oder Index-Strukturen angelegt wurden. Dies ist abhaengig von dem jeweiligen deduktiven Datenbanksystem. Es reicht wohl ein Text, um diese Einstellungen festzuhalten. - Zu einem deduktiven Datenbank-System sind Name, Version und optional eine URI festzuhalten. Da sich das eigene System staendig aendert, sind die genaue Version (Zeitstempel) bzw. die Quelldateien fuer Laufzeit-Tests festzuhalten, die mit diesem System durchgefuehrt wurden. Bei den fremden Konkurrenzsystemen reicht dagegen die Versionsnummer. - Zum Rechner, auf dem der Benchmark ausgefuehrt wurde, sind Betriebssystem, Speichergroesse (RAM), CPU (eventuell mit Taktfrequenz und Anzahl Kerne/Threads), ggf. Plattenausstattung zu speichern. ------------------------------------------------------------------------------- Weitere Informationen ------------------------------------------------------------------------------- In dem Artikel http://users.informatik.uni-halle.de/~brass/push/publ/wlp16.pdf haben wir etwas zu unseren Erfahrungen mit den Benchmarks geschrieben. Die Originalquelle zu dem verwendeten OpenRuleBench ist http://rulebench.semwebcentral.org/ Dort gibt es auch Messergebnisse. Die sind mit unseren nicht zu vergleichen, weil sie auf einem anderen Rechner gemacht wurden. Aber vielleicht koennte man die Faktoren vergleichen, um so SChaetzungen fuer Systeme zu bekommen, die wir nicht ausprobieren konnten. OntoBroker kostet z.B. Geld, und nicht ganz wenig. Fuer das eigene Programm habe ich Dateien wie die beigefuegte BENCHMARKS_J1AXY. Die erste Spalte ist eine ID des Benchmarks, z.B. j1axy_7_10k. Es ist das "Join 1" Beispiel aus OpenRuleBench mit Anfrage a(X,Y). Es ist Implementierungsvariante 7. Unten eine Liste aller aktuell vorhandener IDs mit Kurzbeschreibung. Es ist die Eingabedatei mit 10.000 Tupeln pro Datenbankrelation. Die Benchmark-Datei enthaelt Zeilen wie j1axy_7_10k 18 1785 1803 OK 1.79 0.00 0:01.80 7336 Die zweite Spalte "18" sind die Millisekunden zum Laden der Daten (Load). Ich habe das Maximum von Realzeit und CPU-Zeit genommen, und in der Status-Spalte "Warning" gedruckt, wenn sie zu weit von einander abweichen. Die dritte Spalte "1785" sind die Millisekunden fuer die Ausfuehrung der Anfrage (Execution). Dann kommt die von meinem Programm bestimmte Gesamtzeit zur Ausfuehrung des Tests. Anschliessend der Status "OK", "Warning" oder Failed vermutlich, wenn ein Fehler bemerkt wurde. Dann kommen die von /usr/bin/time bestimmten User, System und Gesamtzeit. Der Befehl ist /usr/bin/time -f "%U\t%S\t%E\t%M" -o RUN_BENCH__TIME ./ydb -b $1 >RUN_BENCH__YDB (Mein Programm heisst "ydb", vielleicht aendere ich das noch.) Diese Zeiten sind in Sekunden mit zwei Nachkommastellen. Als letztes kommt die Maximum Resident Size in Kilobyte. Das ist der verbrauchte RAM-Speicherplatz (Hauptspeicher). Er kann zwischen zwei Laeufen leicht variieren, weil eventuell nicht alle Seiten gleichzeitig eingelagert sind (manche sind auf einer Datei). Die Felder sind durch Tabs getrennt. Dieses Beispiel ist etwas schwierig, weil ich noch manuell Kommentare eingefuegt habe. Da es etwas aufwaendig ist, eine neue Test-ID in das Programm einzubauen, habe ich die Implementierung variiert, aber die Test-ID gelassen. Ich wollte probieren, ob diese Varianten zu einer unterschiedlichen Laufzeit fuehren. Fuer die Tests mit anderen Sysemen gibt es andere Dateien. Auf der Seite von Frau Stephan http://users.informatik.uni-halle.de/~stephan/Push/Tests/ finden Sie Excel-Dateien (auch als csv) von den Messungen, die sie durchgefuehrt hat. Die OpenRuleBench Skripte erzeugen Dateien wie die beigefuegte Datei join_result.txt Darin steht die Datendatei, dann die Anfrage-Variante und dann vier Zeiten fuer die Ausfuehrung ("Walltime" ist Realzeit). ------------------------------------------------------------------------------- BENCHMARKS_J1AXY ------------------------------------------------------------------------------- j1axy_7_10k 18 1785 1803 OK 1.79 0.00 0:01.80 7336 j1axy_7_10k 13 1784 1797 OK 1.79 0.00 0:01.80 7332 j1axy_7_10k 17 1783 1800 OK 1.80 0.00 0:01.80 7336 j1axy_7_10k 13 1779 1793 OK 1.78 0.00 0:01.79 7332 j1axy_7_10k 14 1783 1797 OK 1.80 0.00 0:01.80 7336 j1axy_7_10k 16 1787 1803 OK 1.80 0.00 0:01.80 7336 j1axy_7_10k 17 1785 1801 Warning 1.79 0.01 0:01.80 7328 j1axy_7_10k 17 1794 1812 OK 1.80 0.00 0:01.81 7328 j1axy_7_10k 9 1789 1798 OK 1.78 0.01 0:01.80 7332 j1axy_7_10k 17 1787 1804 OK 1.79 0.00 0:01.80 7332 j1axy_8_10k 13 1813 1827 OK 1.81 0.01 0:01.83 15172 j1axy_8_10k 14 1842 1856 OK 1.84 0.01 0:01.86 15176 j1axy_8_10k 17 1814 1831 OK 1.82 0.00 0:01.83 15180 j1axy_8_10k 16 1814 1831 OK 1.81 0.02 0:01.83 15180 j1axy_8_10k 15 1817 1832 OK 1.82 0.00 0:01.83 15172 j1axy_8_10k 14 1828 1842 OK 1.83 0.01 0:01.84 15180 j1axy_8_10k 17 1814 1832 OK 1.81 0.01 0:01.83 15180 j1axy_8_10k 15 1813 1828 OK 1.82 0.00 0:01.83 15180 j1axy_8_10k 9 1811 1821 OK 1.80 0.01 0:01.82 15176 j1axy_8_10k 14 1813 1827 OK 1.81 0.01 0:01.83 15180 j1axy_7_50k 49 29656 29705 OK 29.69 0.00 0:29.70 11768 j1axy_7_50k 49 29582 29631 OK 29.60 0.02 0:29.63 11764 j1axy_7_50k 50 29647 29697 OK 29.68 0.00 0:29.69 11764 j1axy_7_50k 55 29606 29661 OK 29.64 0.00 0:29.66 11768 j1axy_7_50k 51 29627 29678 OK 29.65 0.01 0:29.68 11764 j1axy_7_50k 50 29737 29787 OK 29.76 0.01 0:29.79 11768 j1axy_7_50k 50 30541 30591 OK 30.57 0.01 0:30.59 11764 j1axy_7_50k 51 29511 29562 Warning 29.53 0.02 0:29.56 11764 j1axy_7_50k 50 31211 31261 OK 31.24 0.01 0:31.26 11760 j1axy_7_50k 50 30029 30080 OK 30.05 0.02 0:30.08 11768 j1axy_8_50k 50 30252 30302 OK 30.27 0.01 0:30.30 19608 j1axy_8_50k 55 30331 30386 Warning 30.36 0.02 0:30.39 19608 j1axy_8_50k 48 29887 29935 OK 29.91 0.01 0:29.94 19608 j1axy_8_50k 50 29989 30040 OK 30.01 0.02 0:30.04 19608 j1axy_8_50k 51 29815 29866 OK 29.84 0.01 0:29.87 19612 j1axy_8_50k 52 29958 30010 Warning 29.97 0.02 0:30.01 19612 j1axy_8_50k 49 29935 29984 OK 29.96 0.01 0:29.98 19612 j1axy_8_50k 50 29987 30037 OK 30.00 0.02 0:30.04 19608 j1axy_8_50k 52 30931 30984 Warning 30.95 0.02 0:30.98 19608 j1axy_8_50k 48 29863 29911 OK 29.88 0.02 0:29.91 19612 j1axy_7_250k 227 39831 40058 OK 40.03 0.02 0:40.06 19596 j1axy_7_250k 227 40207 40434 OK 40.39 0.03 0:40.43 19592 j1axy_7_250k 225 39975 40201 OK 40.17 0.01 0:40.20 19596 j1axy_7_250k 227 39954 40181 OK 40.15 0.02 0:40.18 19592 j1axy_7_250k 216 40211 40428 OK 40.40 0.01 0:40.43 19588 j1axy_7_250k 219 39862 40081 OK 40.04 0.03 0:40.08 19592 j1axy_7_250k 222 40087 40309 OK 40.29 0.01 0:40.31 19596 j1axy_7_250k 222 40059 40281 OK 40.22 0.04 0:40.28 19592 j1axy_7_250k 235 39649 39885 OK 39.83 0.04 0:39.89 19596 j1axy_7_250k 210 40019 40229 OK 40.20 0.01 0:40.23 19592 j1axy_8_250k 209 40352 40562 OK 40.53 0.02 0:40.56 27440 j1axy_8_250k 212 40327 40540 Warning 40.51 0.02 0:40.54 27440 j1axy_8_250k 214 40474 40689 Warning 40.65 0.02 0:40.69 27440 j1axy_8_250k 220 40293 40513 OK 40.47 0.02 0:40.51 27436 j1axy_8_250k 224 40455 40679 Warning 40.65 0.02 0:40.68 27436 j1axy_8_250k 225 39990 40216 OK 40.17 0.03 0:40.22 27436 j1axy_8_250k 220 40234 40454 OK 40.43 0.00 0:40.45 27436 j1axy_8_250k 223 40373 40597 OK 40.56 0.02 0:40.60 27440 j1axy_8_250k 222 40382 40604 Warning 40.55 0.04 0:40.60 27440 j1axy_8_250k 225 40265 40491 OK 40.43 0.04 0:40.49 27436 # Neuer Versuch: Methodenrumpf in .h-Datei (Version 8B): j1axy_8_10k 17 1815 1833 OK 1.82 0.01 0:01.83 15180 j1axy_8_10k 17 1814 1830 OK 1.82 0.00 0:01.83 15180 j1axy_8_10k 9 1814 1823 OK 1.81 0.00 0:01.82 15176 j1axy_8_10k 18 1810 1827 OK 1.81 0.01 0:01.83 15180 j1axy_8_10k 17 1821 1839 OK 1.82 0.02 0:01.84 15180 j1axy_8_10k 17 1819 1837 OK 1.81 0.02 0:01.84 15180 j1axy_8_10k 18 1818 1836 OK 1.82 0.01 0:01.84 15176 j1axy_8_10k 15 1822 1837 OK 1.82 0.01 0:01.84 15172 j1axy_8_10k 16 1818 1834 OK 1.81 0.02 0:01.83 15180 j1axy_8_10k 17 1816 1833 OK 1.82 0.00 0:01.83 15180 j1axy_8_50k 49 29759 29809 OK 29.80 0.00 0:29.81 19612 j1axy_8_50k 50 29900 29950 OK 29.92 0.02 0:29.95 19612 j1axy_8_50k 49 29863 29913 OK 29.89 0.00 0:29.91 19612 j1axy_8_50k 48 29938 29987 OK 29.95 0.02 0:29.99 19612 j1axy_8_50k 49 29662 29711 OK 29.67 0.02 0:29.71 19608 j1axy_8_50k 50 29970 30020 OK 29.99 0.02 0:30.02 19608 j1axy_8_50k 49 29676 29725 OK 29.70 0.01 0:29.72 19612 j1axy_8_50k 44 29876 29921 OK 29.89 0.01 0:29.92 19612 j1axy_8_50k 44 29768 29812 OK 29.78 0.02 0:29.81 19612 j1axy_8_50k 45 29912 29957 OK 29.93 0.01 0:29.96 19612 j1axy_8_250k 229 43475 43704 OK 43.66 0.02 0:43.70 27432 j1axy_8_250k 215 43453 43668 OK 43.63 0.02 0:43.67 27440 j1axy_8_250k 210 43411 43621 OK 43.59 0.02 0:43.62 27436 j1axy_8_250k 215 42885 43100 OK 43.05 0.04 0:43.10 27436 j1axy_8_250k 211 40502 40714 Warning 40.66 0.04 0:40.71 27436 j1axy_8_250k 214 40299 40513 Warning 40.47 0.03 0:40.51 27440 j1axy_8_250k 221 40426 40648 Warning 40.62 0.02 0:40.65 27440 j1axy_8_250k 222 40161 40384 OK 40.35 0.02 0:40.38 27432 j1axy_8_250k 215 43528 43743 OK 43.69 0.04 0:43.74 27440 j1axy_8_250k 217 40185 40402 OK 40.37 0.01 0:40.40 27436 # Dies ist die Version mit Cursor als lokale Variable (8C): j1axy_8_10k 18 1814 1833 OK 1.81 0.02 0:01.83 15176 j1axy_8_10k 15 1826 1841 Warning 1.82 0.01 0:01.84 15176 j1axy_8_10k 15 1823 1838 OK 1.82 0.01 0:01.84 15180 j1axy_8_10k 15 1818 1833 OK 1.82 0.01 0:01.83 15180 j1axy_8_10k 17 1805 1823 OK 1.82 0.00 0:01.82 15176 j1axy_8_10k 14 1831 1846 OK 1.83 0.01 0:01.85 15180 j1axy_8_10k 18 1818 1836 OK 1.82 0.01 0:01.84 15176 j1axy_8_10k 17 1819 1836 OK 1.82 0.01 0:01.84 15176 j1axy_8_10k 9 1814 1824 OK 1.81 0.01 0:01.82 15176 j1axy_8_10k 17 1806 1823 OK 1.82 0.00 0:01.82 15176 j1axy_8_50k 49 29680 29729 OK 29.68 0.03 0:29.73 19608 j1axy_8_50k 52 29915 29968 OK 29.94 0.01 0:29.97 19604 j1axy_8_50k 53 30021 30074 Warning 30.06 0.00 0:30.07 19612 j1axy_8_50k 50 29977 30028 OK 30.00 0.01 0:30.03 19612 j1axy_8_50k 52 29485 29537 Warning 29.51 0.01 0:29.54 19612 j1axy_8_50k 53 30051 30104 Warning 30.07 0.02 0:30.10 19608 j1axy_8_50k 50 29879 29929 OK 29.89 0.02 0:29.93 19612 j1axy_8_50k 50 29973 30023 OK 29.98 0.02 0:30.02 19612 j1axy_8_50k 52 29838 29891 Warning 29.86 0.02 0:29.89 19612 j1axy_8_50k 54 29879 29933 OK 29.91 0.01 0:29.93 19612 j1axy_8_250k 223 40452 40675 OK 40.63 0.03 0:40.68 27436 j1axy_8_250k 212 40420 40632 Warning 40.59 0.02 0:40.63 27436 j1axy_8_250k 219 40005 40224 OK 40.19 0.02 0:40.22 27440 j1axy_8_250k 217 40411 40628 OK 40.58 0.04 0:40.63 27440 j1axy_8_250k 223 40461 40684 OK 40.65 0.02 0:40.68 27432 j1axy_8_250k 219 40401 40620 OK 40.57 0.04 0:40.62 27436 j1axy_8_250k 217 40383 40601 OK 40.57 0.02 0:40.60 27440 j1axy_8_250k 218 40346 40565 OK 40.53 0.02 0:40.56 27436 j1axy_8_250k 214 40050 40264 Warning 40.22 0.03 0:40.26 27440 j1axy_8_250k 217 40357 40574 OK 40.53 0.03 0:40.57 27436 # Version ohne inline Deklarationen fuer Auswertungsfunktionen: j1axy_8_10k 17 1785 1802 OK 1.79 0.01 0:01.80 15176 j1axy_8_10k 14 1789 1803 OK 1.79 0.01 0:01.80 15180 j1axy_8_10k 14 1790 1804 OK 1.79 0.00 0:01.80 15176 j1axy_8_10k 14 1793 1808 OK 1.79 0.01 0:01.81 15180 j1axy_8_10k 17 1791 1808 OK 1.80 0.01 0:01.81 15172 j1axy_8_10k 15 1785 1800 OK 1.79 0.00 0:01.80 15180 j1axy_8_10k 16 1789 1805 OK 1.80 0.00 0:01.80 15180 j1axy_8_10k 15 1797 1812 OK 1.80 0.01 0:01.81 15184 j1axy_8_10k 16 1818 1835 OK 1.82 0.00 0:01.83 15180 j1axy_8_10k 17 1794 1811 OK 1.80 0.01 0:01.81 15180 j1axy_8_50k 50 29769 29819 OK 29.79 0.01 0:29.82 19612 j1axy_8_50k 49 29561 29610 OK 29.57 0.02 0:29.61 19608 j1axy_8_50k 53 29763 29817 OK 29.80 0.00 0:29.82 19612 j1axy_8_50k 51 29695 29747 Warning 29.72 0.01 0:29.75 19604 j1axy_8_50k 55 29519 29575 OK 29.55 0.01 0:29.57 19616 j1axy_8_50k 50 29782 29832 OK 29.80 0.01 0:29.83 19612 j1axy_8_50k 52 29812 29864 Warning 29.83 0.02 0:29.86 19612 j1axy_8_50k 49 29766 29815 OK 29.79 0.01 0:29.81 19608 j1axy_8_50k 54 29671 29725 OK 29.71 0.00 0:29.73 19612 j1axy_8_50k 50 29584 29634 OK 29.61 0.01 0:29.63 19612 j1axy_8_250k 229 40276 40506 OK 40.47 0.02 0:40.51 27436 j1axy_8_250k 209 40394 40603 OK 40.57 0.02 0:40.60 27436 j1axy_8_250k 215 40283 40498 OK 40.46 0.02 0:40.50 27440 j1axy_8_250k 222 40357 40579 OK 40.51 0.06 0:40.58 27436 j1axy_8_250k 224 40244 40469 OK 40.41 0.05 0:40.47 27440 j1axy_8_250k 217 40161 40378 OK 40.31 0.05 0:40.38 27436 j1axy_8_250k 208 40296 40504 OK 40.47 0.02 0:40.50 27440 j1axy_8_250k 210 40281 40491 OK 40.44 0.04 0:40.49 27440 j1axy_8_250k 217 40498 40715 OK 40.69 0.01 0:40.72 27436 j1axy_8_250k 226 40107 40333 OK 40.27 0.04 0:40.33 27440 # Version ohne Argumente der Funktionen, Nutzung von Attributen v_5_1: j1axy_9_10k 16 1800 1816 OK 1.80 0.01 0:01.82 15168 j1axy_9_10k 15 1794 1810 OK 1.80 0.00 0:01.81 15176 j1axy_9_10k 17 1826 1844 OK 1.83 0.00 0:01.84 15176 j1axy_9_10k 17 1806 1824 OK 1.81 0.00 0:01.82 15168 j1axy_9_10k 17 1795 1813 OK 1.80 0.01 0:01.81 15176 j1axy_9_10k 15 1796 1811 OK 1.80 0.00 0:01.81 15172 j1axy_9_10k 17 1800 1817 OK 1.81 0.00 0:01.82 15176 j1axy_9_10k 17 1799 1816 OK 1.80 0.01 0:01.82 15176 j1axy_9_10k 16 1811 1828 OK 1.81 0.01 0:01.83 15176 j1axy_9_10k 16 1794 1810 OK 1.79 0.02 0:01.81 15168 j1axy_9_50k 53 29923 29976 Warning 29.95 0.01 0:29.98 19604 j1axy_9_50k 52 29802 29855 OK 29.83 0.01 0:29.85 19604 j1axy_9_50k 48 29905 29953 OK 29.90 0.04 0:29.95 19612 j1axy_9_50k 50 29826 29876 OK 29.86 0.00 0:29.88 19604 j1axy_9_50k 54 29598 29652 Warning 29.61 0.02 0:29.65 19604 j1axy_9_50k 50 29882 29932 OK 29.91 0.00 0:29.93 19608 j1axy_9_50k 44 29856 29900 OK 29.87 0.02 0:29.90 19600 j1axy_9_50k 49 30451 30500 OK 30.47 0.02 0:30.50 19612 j1axy_9_50k 53 29703 29755 OK 29.73 0.01 0:29.76 19604 j1axy_9_50k 44 29781 29825 OK 29.80 0.01 0:29.82 19604 j1axy_9_250k 226 40151 40377 OK 40.33 0.03 0:40.38 27436 j1axy_9_250k 210 40092 40302 OK 40.26 0.03 0:40.30 27432 j1axy_9_250k 215 40300 40515 OK 40.47 0.03 0:40.52 27436 j1axy_9_250k 215 39959 40175 Warning 40.15 0.02 0:40.18 27428 j1axy_9_250k 214 39983 40198 OK 40.15 0.03 0:40.20 27432 j1axy_9_250k 216 41006 41222 Warning 41.17 0.04 0:41.22 27440 j1axy_9_250k 215 39749 39965 OK 39.94 0.01 0:39.97 27436 j1axy_9_250k 215 39867 40083 OK 40.04 0.02 0:40.08 27436 j1axy_9_250k 210 39959 40170 OK 40.13 0.02 0:40.17 27432 j1axy_9_250k 221 39811 40032 Warning 39.99 0.03 0:40.03 27432 j1axy_5_10k 18 10361 10380 OK 10.34 0.04 0:10.38 45688 j1axy_5_10k 18 10388 10406 OK 10.36 0.04 0:10.41 45684 j1axy_5_10k 18 10418 10437 OK 10.39 0.04 0:10.44 45688 j1axy_5_10k 15 10387 10403 OK 10.36 0.04 0:10.40 45684 j1axy_5_10k 17 10393 10410 OK 10.38 0.02 0:10.41 45684 j1axy_5_10k 9 10383 10392 OK 10.36 0.02 0:10.39 45684 j1axy_5_10k 16 10394 10411 OK 10.34 0.06 0:10.41 45688 j1axy_5_10k 18 10389 10407 OK 10.36 0.04 0:10.41 45688 j1axy_5_10k 18 10407 10425 OK 10.38 0.04 0:10.43 45684 j1axy_5_10k 14 10376 10391 OK 10.36 0.02 0:10.39 45684 j1axy_5_50k 55 105409 105465 OK 105.34 0.08 1:45.47 88104 j1axy_5_50k 49 105677 105727 OK 105.60 0.08 1:45.73 88104 j1axy_5_50k 49 105402 105452 OK 105.29 0.12 1:45.46 88104 j1axy_5_50k 51 105770 105822 Warning 105.70 0.08 1:45.83 88108 j1axy_5_50k 52 105652 105705 OK 105.56 0.10 1:45.71 88108 j1axy_5_50k 50 105424 105476 OK 105.35 0.08 1:45.48 88104 j1axy_5_50k 52 105447 105499 Warning 105.38 0.08 1:45.50 88104 j1axy_5_50k 52 105525 105578 Warning 105.44 0.10 1:45.58 88104 j1axy_5_50k 55 105217 105273 OK 105.12 0.11 1:45.28 88104 j1axy_5_50k 52 105503 105557 Warning 105.43 0.09 1:45.56 88108 j1axy_5_250k 222 152326 152550 OK 152.37 0.11 2:32.55 98188 j1axy_5_250k 219 152162 152382 OK 152.20 0.11 2:32.39 98184 j1axy_5_250k 212 152541 152755 OK 152.60 0.08 2:32.76 98188 j1axy_5_250k 219 152207 152427 OK 152.24 0.11 2:32.43 98188 j1axy_5_250k 218 151895 152115 OK 151.93 0.12 2:32.12 98188 j1axy_5_250k 217 151964 152182 OK 152.00 0.10 2:32.19 98184 j1axy_5_250k 226 151970 152197 OK 152.02 0.10 2:32.20 98184 j1axy_5_250k 217 152345 152563 OK 152.38 0.10 2:32.57 98184 j1axy_5_250k 218 151997 152215 OK 152.03 0.11 2:32.22 98188 j1axy_5_250k 234 152089 152324 Warning 152.17 0.08 2:32.33 98184 j1axy_6_10k 17 1768 1786 OK 1.78 0.00 0:01.78 7316 j1axy_6_10k 13 1766 1779 OK 1.77 0.00 0:01.78 7316 j1axy_6_10k 15 1763 1779 OK 1.77 0.00 0:01.78 7316 j1axy_6_10k 15 1785 1799 OK 1.79 0.00 0:01.80 7320 j1axy_6_10k 17 1773 1790 OK 1.79 0.00 0:01.79 7312 j1axy_6_10k 17 1772 1789 OK 1.79 0.00 0:01.79 7320 j1axy_6_10k 14 1758 1772 OK 1.76 0.00 0:01.77 7316 j1axy_6_10k 17 1761 1779 OK 1.77 0.00 0:01.78 7316 j1axy_6_10k 14 1771 1786 OK 1.78 0.00 0:01.78 7312 j1axy_6_10k 17 1762 1780 OK 1.78 0.00 0:01.78 7320 j1axy_6_50k 51 29728 29779 Warning 29.76 0.01 0:29.78 11748 j1axy_6_50k 53 29759 29812 Warning 29.79 0.01 0:29.81 11752 j1axy_6_50k 54 29725 29779 OK 29.76 0.00 0:29.78 11748 j1axy_6_50k 56 29556 29612 OK 29.59 0.01 0:29.61 11748 j1axy_6_50k 49 29774 29823 OK 29.80 0.01 0:29.82 11748 j1axy_6_50k 49 29756 29805 OK 29.78 0.00 0:29.80 11748 j1axy_6_50k 53 29733 29787 OK 29.76 0.01 0:29.79 11752 j1axy_6_50k 49 29612 29661 OK 29.64 0.01 0:29.66 11752 j1axy_6_50k 51 29781 29832 Warning 29.80 0.02 0:29.83 11752 j1axy_6_50k 52 29854 29906 Warning 29.89 0.00 0:29.91 11752 j1axy_6_250k 220 40189 40410 OK 40.37 0.03 0:40.41 19580 j1axy_6_250k 225 40113 40338 OK 40.29 0.03 0:40.34 19580 j1axy_6_250k 214 40023 40237 OK 40.21 0.02 0:40.24 19580 j1axy_6_250k 222 40115 40337 OK 40.31 0.01 0:40.34 19576 j1axy_6_250k 222 40195 40417 OK 40.37 0.04 0:40.42 19576 j1axy_6_250k 215 40169 40384 Warning 40.32 0.04 0:40.38 19576 j1axy_6_250k 215 39922 40137 OK 40.11 0.02 0:40.14 19580 j1axy_6_250k 214 40031 40245 OK 40.21 0.02 0:40.24 19568 j1axy_6_250k 209 39971 40180 OK 40.15 0.01 0:40.18 19576 j1axy_6_250k 222 40054 40276 Warning 40.23 0.03 0:40.28 19580 ------------------------------------------------------------------------------- join_result.txt ------------------------------------------------------------------------------- ../../data/d1000_relsize10000_xsb_cyc.P b2 loading cputime: 0.1520 loading wallitme: 0.1610 computing cputime: 0.0560 computing walltime: 0.0600 b1 loading cputime: 0.1480 loading wallitme: 0.1470 computing cputime: 0.5160 computing walltime: 0.5480 a loading cputime: 0.1440 loading wallitme: 0.1540 computing cputime: 21.8690 computing walltime: 21.9110 ../../data/d1000_relsize250000_xsb_cyc.P b2 loading cputime: 3.1480 loading wallitme: 3.3000 computing cputime: 29.4380 computing walltime: 29.4850 b1 loading cputime: 3.1040 loading wallitme: 3.2340 computing cputime: timeout computing walltime: timeout a loading cputime: 3.2960 loading wallitme: 3.4390 computing cputime: timeout computing walltime: timeout ../../data/d1000_relsize50000_xsb_cyc.P b2 loading cputime: 0.6840 loading wallitme: 0.6950 computing cputime: 1.6360 computing walltime: 1.6710 b1 loading cputime: 0.6640 loading wallitme: 0.6870 computing cputime: 30.9850 computing walltime: 31.0300 a loading cputime: 0.6640 loading wallitme: 0.6980 computing cputime: timeout computing walltime: timeout