Autor Thema: Gembench - Gotteswerk oder Teufelszeug  (Gelesen 14594 mal)

0 Mitglieder und 1 Gast betrachten dieses Thema.

Offline ari.tao

  • Benutzer
  • Beiträge: 2.248
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #40 am: Mo 18.02.2019, 04:19:32 »
Ad Abwärme:
von 16 auf 56MHz ist´s mehr als eine ganze Größenordnung.
Da braucht der arme Chip aber wirklich einen ganz kühlen Körper.
Von 32MHz nicht von16MHz!
Du solltest wissen, @Arthur , daß der TT einen Jumper hat, mit dem der FPU-Takt umgestellt werden kann von 16 auf 32MHz. Die ersten TTs wurden afaik mit JumperStellung 16 ausgeliefert. Keine Ahnung, ob das immer so blieb; meine TTs sind auf 32 gejumpert (möglicherweise von mir selber nach Anleitung in Chips´nChips oder sonstwo - weiß ich nicht mehr). Ich sehe daher nicht, warum Du an meiner Aussage in #46 herummäkelst.
Warum da dieser Jumper im TT sitzt, das weiß ich leider nicht. Vielleicht aus Marketing-Gründen? Erinnert mich irgendwie an den alten Kalauer, warum man beim Gang durch die Wüste einen Backstein mitschleppen sollte: Um ihn bei Gefahr, wenn ein Löwe kommt, fortzuwerfen, damit man schneller laufen kann.

-------

Lesen tut es sich aber definitiv anders. :D Ich bestreite nicht das der Cache einen Einfluss hat doch Vergleichbarkeit ist weiterhin gegeben.
Beim Lesen, Arthur, sollte man vielleicht versuchen herauszufinden, was der Autor meint, und nicht, was die eigenen Vorurteile bestätigt oder ihnen widerspricht.
Du irrst leider, wenn Du meinst, obwohl falsch gemessen wurde, sei die Vergleichbarkeit noch gegeben: Ein falsch doppelt hohes Meßergebnis von 221% suggeriert, daß eine Verbesserung von 221-100= 121% erzielt worden sei, während doch aber leider wg. der falschen Verdoppelung nur eine Verbesserung von (221/2)-100=10,5% erzielt wurde. Daß trotz Meßfehler die Vergleichbarkeit weiterhin gegeben sei, ist also ein frommer, aber leider vergeblicher Wunsch. Ex falso quodlibet.

Es sollte doch jedem einleuchten, daß man durch Einsparung von ein paar Waitstates nicht plötzlich die doppelte Datenmenge aus dem Speicher ziehen kann (sonst hätten die Konstrukteure des TT das sicherlich schon selber getan). Oder ist das noch solch ein Wüsten-Backstein?

PS: Und wenn Du mich zitierst, Arthur, und im Zitat eine Hervorhebung durch Fettschrift machst, dann kennzeichne bitte, daß diese Hervorhebung von Dir ist und nicht original im Zitat steht. Danke.
Falcon+ddd32MHz, TT+CrazyDotsGK und noch ein paar andere.

Offline ari.tao

  • Benutzer
  • Beiträge: 2.248
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #41 am: Mo 18.02.2019, 04:26:23 »
Ich hatte mit ihm schon einmal darüber diskuttiert am Telefon und da meinte er der 68030 hätte ...
Ich möchte hier einmal klarstellen, daß es nur einziges Tel.-Gespräch mit tuxie gab - das war Anfang Dez ´16 - und in dem ging es nmE. um soziale Belange des Forums und nicht um technische Fragen, schon gar nicht um Interna des 68030. Als Beleg habe ich noch seine vorweggehende PM an mich.

-------

Ich rede & schreibe Hochdeutsch, @tuxie - das ist keine Attitüde, sondern meine Muttersprache - und lege wert auf korrekte Präpositionen, ibs. wenn ich zitiert werde. Ich hatte geschrieben
... der 68030 jedoch ist mit seinem Cache und seiner internen Takt-Verdoppelung nur sehr schwer in Griff zu kriegen ...
(und spreche von ´intern´, weil der Cache im Prozessor integriert ist) und nicht, was Du da als mich angeblich zitierend zusammenfabulierst.
Ich möchte Dich auch bitten, daß Du höflich und sachlich bleibst anstatt beleidigend:
Sag mal kannst du Lesen`?
und auch nicht schon wieder herumschreist mit 1000 Ausrufezeichen. Es geht hier nicht darum, einen Hahnenkampf auszufechten, sondern darum, einen technischen Irrtum zu beseitigen. Ich kann nichts dafür, daß Du offensichtlich niemals eine alternative Meßmethode anstatt GemBench verwendet hast. Nochmal in aller Deutlichkeit: Auch wenn GemBench behauptet, es messe ´ROM Access´, so ist diese Behauptung zumindest für den 68030 offenbar falsch (auch wenn für den 68000 die verwendete Methode noch funktioniert haben mag).
Zumindest aber muß, wie @1ST1 sehr richtig bemerkt hat:
Man misst aber fast nur die Taktverdoppelung des Prozessors. Denn aufs ROM wird nur einmal zugeriffen, wenn die TOS-Routine das erste Mal aufgerufen wird. Wird sie dann noch hundert mal durchlaufen, ist sie 99 mal schon im Cache.
Will man wirklich das ROM benchmarken, dann ... und mit ausgeschaltetem Cache.
der Cache ausgeschaltet sein. Das ist aber in allen Deinen Bildern, sowohl hier (s. zB. #57 & #60) als auch auf YT, _nicht_ der Fall. Aber selbst bei ausgeschaltetem Cache halte ich die Methode von GemBench für nicht seriös genug, um wirklich von einer Messung der ROM-Geschwindigkeit zu reden.
Spätestens, als Du ebenfalls einen Faktor zwei für das ST-RAM im TT bemerkt hast, hättest Du aufmerken müssen. Und noch mehr, wie oben schon erklärt, bei erratischen Meßergebnissen. Ich habe jedenfalls auch auf meinem TT diesen Faktor zwei (bei eingeschaltetem Cache - und ohne modif. AdressDecoder).
Du hattest mich in einer PM Ende ´16 gebeten, Dir einen einschlägigen Benchmark zu schreiben - und ich habe dies abgelehnt, weil ich auf Grund meiner Erfahrungen schon wußte, welche Fallen beim 68030 da lauern. Das wäre eine wirklich mühsame & aufwändige Arbeit! Das Problem ist, die Messung des ROM-Zugriffs von allen anderen Einflüssen zu isolieren: Je nachdem, mit welchem Befehl der Proz. gerade beschäftigt war, kann der Zugriff unterschiedlich lange dauern. Und der Cache greift nochmal anders zu.

Wenn Du durch einen ´modifizierten Adressdecoder´* wirklich einen Faktor zwei erzielt hast, tuxie, dann bist Du entweder genialer als Shiraz Shivji & Co. - oder aber es könnte sein, Du hast womöglich die Validierung des Proz.-Caches ausgehebelt und damit einen HW-Bug in Deinen TT eingebaut, dessen Auswirkung Du bloß noch nicht bemerkt hast.
Weiß jmd., wie anderswo (Apple etc.) damit umgegangen wurde?

* Ich hatte übrigens in #32 darum gebeten, daß Du das mal genauer erläuterst - und damit war nicht ein weiteres Propaganda-Video auf YT gemeint.

PS: Zurecht wurde exxos für seine default-Referenz in GemBench_6 kritisiert.
Leider ist tuxies Ersatz unbrauchbar, da offenbar trotz Auflösung TT-med seine GK nicht abgeschaltet war. Das trat hervor, als ich die Situation auf meinem TT nachstellen wollte, siehe angehängter ScreenShot.

Edit.: Nach der Moderation #30 & #33 anstatt #57 & #60.
« Letzte Änderung: Fr 22.02.2019, 06:25:33 von ari.tao »
Falcon+ddd32MHz, TT+CrazyDotsGK und noch ein paar andere.

Offline 1ST1

  • Benutzer
  • Beiträge: 8.661
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #42 am: Mo 18.02.2019, 07:16:41 »
Tuxie ist nicht genialer als Shiraz S, sondern hat nur die Möglichkeiten der Jahre 2018/19, wo es halt wesentlich schnellere ROM Bausteine als 1988/89 gibt, als der TT entwickelt wurde. Ich möchte die Beschleunigung also grundsätzlich nicht in Abrede stellen, sondern nur dass richtig gemessen wird.
Ausgeloggter Mitleser, der hier NIE mehr aktiv wird. Am besten, meine Inhalte komplett löschen. Dabei berufe ich mich auf mein Urheberrecht, die DSGVO und auf die Rechte, die mir unter Impressunm&Datenschutz zugestanden werden. Tschö!

Offline tuxie

  • Benutzer
  • Beiträge: 6.830
  • Falcon! Milan! Schuetzt die Raubvoegel!
Re: GemBench Aussagekraft
« Antwort #43 am: Mo 18.02.2019, 08:15:05 »
Sinnlos!!!
Tschau Ingo

Offline ari.tao

  • Benutzer
  • Beiträge: 2.248
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #44 am: Mo 18.02.2019, 09:44:11 »
Tuxie ist nicht genialer als Shiraz S, sondern hat nur die Möglichkeiten der Jahre 2018/19, wo es halt wesentlich schnellere ROM Bausteine als 1988/89 gibt, als der TT entwickelt wurde. Ich möchte die Beschleunigung also grundsätzlich nicht in Abrede stellen, sondern nur dass richtig gemessen wird.

d'accord.
Falcon+ddd32MHz, TT+CrazyDotsGK und noch ein paar andere.

Offline Arthur

  • Benutzer
  • Beiträge: 10.302
  • Mein Atari erinnert mich an die gute alte Zeit..
Re: GemBench Aussagekraft
« Antwort #45 am: Mo 18.02.2019, 10:03:37 »
Ich denke das GEMBench einen guten Überblick der Geschwindigkeit eines Systems bietet. Gerade ein Cache ist für die Erhöhung der Ausführungsgeschwindigkeit wichtig. Den Cache im Test abzuschalten würde das Ergebnis meiner Ansicht nach zum Teil eher verschlechtern. Nichts desto trotz lässt sich der Cache ja abschalten wenn’s denn mal unbedingt nötig sein sollte. Ob und wie irgendwelche Jumper auf dem Board gesetzt sind und was es für Unterschiede bei den TT Revisionen gibt darüber kann man gerne diskutieren. Ich ging von meinem System bzw. Ingos TT aus die wohl ziemlich verbreitet sind im Gegensatz zu einem Ur-TT mit daughter board.

Offline ari.tao

  • Benutzer
  • Beiträge: 2.248
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #46 am: Mo 18.02.2019, 10:16:31 »
^^--Ich habe doch gerade im letzten ScreenShot gezeigt, welch unsinnige Zahlen da herauskommen, wenn die Referenz nicht stimmt.
Falcon+ddd32MHz, TT+CrazyDotsGK und noch ein paar andere.

Offline tuxie

  • Benutzer
  • Beiträge: 6.830
  • Falcon! Milan! Schuetzt die Raubvoegel!
Re: GemBench Aussagekraft
« Antwort #47 am: Mo 18.02.2019, 10:19:42 »
Dann vergleich die Ausführungszeiten !!

12.08 vs 16.46 da brauch ich auch am Referenzfile nichst verändern  >:( >:(
Tschau Ingo

Offline ari.tao

  • Benutzer
  • Beiträge: 2.248
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #48 am: Mo 18.02.2019, 10:28:39 »
Das sind erstens keine 221% und zweitens ist die Meßmethode immer noch die gleiche zweifelhafte.
Falcon+ddd32MHz, TT+CrazyDotsGK und noch ein paar andere.

Offline Arthur

  • Benutzer
  • Beiträge: 10.302
  • Mein Atari erinnert mich an die gute alte Zeit..
Re: GemBench Aussagekraft
« Antwort #49 am: Mo 18.02.2019, 11:14:05 »
^^--Ich habe doch gerade im letzten ScreenShot gezeigt, welch unsinnige Zahlen da herauskommen, wenn die Referenz nicht stimmt.

Da ist ja logisch, wenn du den ST als Referenz nimmst und dann mit dem TT vergleichst dann stimmt die Basis nicht... jetzt mal überspitzt. Aber da kommen wir nicht überein... aber das ist ja auch ok. ;D

Offline Lukas Frank

  • Benutzer
  • Beiträge: 13.012
  • fancy Atari Musik anDA Dance "Agare Hinu Harukana"
Re: GemBench Aussagekraft
« Antwort #50 am: Mo 18.02.2019, 11:57:54 »
Ich für meinen Teil halte von GEMBENCH 6 gar nichts, nutze immer noch die Version original Version 4.03 ...

Offline Arthur

  • Benutzer
  • Beiträge: 10.302
  • Mein Atari erinnert mich an die gute alte Zeit..
Re: GemBench Aussagekraft
« Antwort #51 am: Mo 18.02.2019, 12:03:36 »
Ich für meinen Teil halte von GEMBENCH 6 gar nichts, nutze immer noch die Version original Version 4.03 ...

?

Offline Lukas Frank

  • Benutzer
  • Beiträge: 13.012
  • fancy Atari Musik anDA Dance "Agare Hinu Harukana"
Re: GemBench Aussagekraft
« Antwort #52 am: Mo 18.02.2019, 12:18:56 »
Ich für meinen Teil halte von GEMBENCH 6 gar nichts, nutze immer noch die Version original Version 4.03 ...
?

Die Werte der Version größer 4.03 von Exxos sind teilweise viel höher was ja nicht stimmen kann denke ich mal Die letzte originale 4.03 ist schon gut ...

Offline tuxie

  • Benutzer
  • Beiträge: 6.830
  • Falcon! Milan! Schuetzt die Raubvoegel!
Re: GemBench Aussagekraft
« Antwort #53 am: Mo 18.02.2019, 13:04:56 »
Natürlich kann und darf man die Werte nicht mehr miteinander vergleichen das ist ja wohl klar. Wenn sich dinge intern geändert haben dann müssen folglich andere Werte rauskommen. Dafür haben die neuen Versionen auch alle aktuelle Referenzfile, nur die darf man als Basis nutzen!..
Tschau Ingo

Offline 1ST1

  • Benutzer
  • Beiträge: 8.661
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #54 am: Mo 18.02.2019, 22:32:46 »
Dann vergleich die Ausführungszeiten !!

12.08 vs 16.46 da brauch ich auch am Referenzfile nichst verändern  >:( >:(

Man kann natürlich einen Original-TT gegen den Super-TT vergleichen und sieht dann, was alle Maßnahmen zusammen bringen. Nur daraus lässt sich nicht sagen, die Optimierung des ROM-Zugriff hat 200% gebracht. Wenn man wirklich solche Einzel-Optimierungen messen will, muss man alle anderen Einflussgrößen rausnehmen, sprich Cache und höherer Takt. Mit eingeschaltetem Cache und 100 Testdurchläufe der selben ROM-Funktion misst man einmal ROM-Speed und 99 mal Cache-Speed. Und das ROM darf nicht ins RAM kopiert werden, und auch Teile davon dürfen nicht durch im RAM liegende Optimierungen ersetzt werden. Nur so misst man wirklich die optimierte Schaltung. 
« Letzte Änderung: Di 19.02.2019, 07:12:56 von 1ST1 »
Ausgeloggter Mitleser, der hier NIE mehr aktiv wird. Am besten, meine Inhalte komplett löschen. Dabei berufe ich mich auf mein Urheberrecht, die DSGVO und auf die Rechte, die mir unter Impressunm&Datenschutz zugestanden werden. Tschö!

Offline ari.tao

  • Benutzer
  • Beiträge: 2.248
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #55 am: Di 19.02.2019, 02:03:44 »
^^-- Und auch das gilt nur dann, wenn die Messung wirklich den ROM Access mißt! Das ist aber wg. der vielen unterschiedlichen Adressierungsarten der 68k-Familie gar nicht so einfach, denn jeder Befehl hat nicht nur sein eigenes ganz besonderes Timing, sondern ändert das mitunter auch noch drastisch im Kontext mit seinen Nachbarn. Fährt man da eine Schleife, kann sich das Ergebnis je nach Auswahl, Häufigkeit & Zusammensetzung der Befehle durchaus ganz erheblich ändern! (Das ist ein Resümee aus der Zeit, als ich noch versucht habe, meine M2-Prge. durch Inline-ASM zu optimieren).

Edit.: Aber Kreuz-Effekte mit anderen Optimierungen kann es auch noch geben, und zwar in beiden Richtungen. Ganz ähnlich wie bei den Pillen.
« Letzte Änderung: Di 19.02.2019, 04:00:07 von ari.tao »
Falcon+ddd32MHz, TT+CrazyDotsGK und noch ein paar andere.

Offline ari.tao

  • Benutzer
  • Beiträge: 2.248
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #56 am: Di 19.02.2019, 03:09:31 »
Da ist ja logisch, wenn du den ST als Referenz nimmst und dann mit dem TT vergleichst dann stimmt die Basis nicht...
In #68, @Arthur , wurde kein ST als Referenz benutzt, sondern die TT-Messung von @tuxie , die er uns hier als Referenz beschert hat:
   https://forum.atari-home.de/index.php/topic,12819.msg208428.html#msg208428
Als offenbar wurde, daß da höchstwahrscheinlich ein Fehler bzgl. Video passiert war, wollte ich einfach eine neue Referenz erstellen - "ist ja bloß eine Stunde Mühsal" - und erlebte das in #38 berichtete Desaster.
exxos hat seit Juli nix mehr an GB6 gemacht. Kann mir nicht vorstellen, daß er von dem Problem nichts weiß... Denke mir im Gegenteil, daß er sehr gut weiß, mit welch heißer Kartoffel er da jongliert...

Edit.: Nach der Moderation #41 anstatt #68 sowie #11 anstatt #38.
« Letzte Änderung: Fr 22.02.2019, 06:03:54 von ari.tao »
Falcon+ddd32MHz, TT+CrazyDotsGK und noch ein paar andere.

Offline ari.tao

  • Benutzer
  • Beiträge: 2.248
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #57 am: Di 19.02.2019, 03:38:18 »
Ich für meinen Teil halte von GEMBENCH 6 gar nichts, nutze immer noch die Version original Version 4.03 ...
Du hast, Frank, genau wie Arthur, anscheinend die Hoffnung, daß trotz einiger Ungenauigkeiten wenigstens die Vergleichbarkeit in GB gegeben ist. Genau diese Illusion habe ich aber in #67, 2.Teil gründlich zerstört.
Als exxos den GemBench übernahm, muß er nach einem Blick in die Quellen einen gehörigen Schock gekriegt haben: Bestimmt nicht aus Übermut hat er die Tests verändert, sondern aus Einsicht in die Notwendigkeit. Mag sein Bemühen auch ehrenhaft sein, das Ergebnis ist bis heute sehr unzulänglich. Der ROM-Access ist beileibe nicht das einzige Ergebnis, das imho höchst zweifelhaft ist.

Der GemBench gehört in die Tonne!

PS: Glaube nie einen Benchmark, den Du nicht selbst gefälscht hast!
PS2: exxos zeigt mit der Eingangsmeldung "Don´t believe..." immerhin eine gehörige Portion britischen Humors.


Edit.: Nach der Moderation #40_Teil_2 anstatt #67_Teil_2
« Letzte Änderung: Fr 22.02.2019, 06:08:33 von ari.tao »
Falcon+ddd32MHz, TT+CrazyDotsGK und noch ein paar andere.

Offline Arthur

  • Benutzer
  • Beiträge: 10.302
  • Mein Atari erinnert mich an die gute alte Zeit..
Re: GemBench Aussagekraft
« Antwort #58 am: Di 19.02.2019, 07:24:06 »
4 Posts nacheinander und dann noch nicht einmal direkt zum Hauptthema. Wie kann man nur so viel hier schreiben?! Ist schon anstrengend, bei solchen Betonbeiträgen zu folgen.

Inzwischen dürfte klar geworden sein, wer hier welche Meinung vertritt.

@ari.tao : warum versuchst Du Dein Talent nicht einmal mit einem Artikel in der STC?

Vorschlag zum Thema: Gembench - Gotteswerk oder Teufelszeug
Schenkel klopf. :D Geil

Da ist ja logisch, wenn du den ST als Referenz nimmst und dann mit dem TT vergleichst dann stimmt die Basis nicht...
In #68, @Arthur , wurde kein ST als Referenz benutzt, sondern die TT-Messung von @tuxie , die er uns hier als Referenz beschert hat:
   https://forum.atari-home.de/index.php/topic,12819.msg208428.html#msg208428
Als offenbar wurde, daß da höchstwahrscheinlich ein Fehler bzgl. Video passiert war, wollte ich einfach eine neue Referenz erstellen - "ist ja bloß eine Stunde Mühsal" - und erlebte das in #38 berichtete Desaster.
exxos hat seit Juli nix mehr an GB6 gemacht. Kann mir nicht vorstellen, daß er von dem Problem nichts weiß... Denke mir im Gegenteil, daß er sehr gut weiß, mit welch heißer Kartoffel er da jongliert...

Wollte damit nur auf Äpfel und Birnen hinweisen... also ein, die Basis sollte stimmen Beispiel. Gembench ist kein Meßschieber und ich denke egal wer es Programmiert 100% wird das Ergebnis nicht. Beim Stock-Falcon erscheinen, je nach Lötbrücke, die Zugriffswerte RAM/ROM mit ca. (99-102)% schon recht gut getroffen... ist halt ein komplexes Thema.

Offline 1ST1

  • Benutzer
  • Beiträge: 8.661
  • Gesperrter User
Re: GemBench Aussagekraft
« Antwort #59 am: Di 19.02.2019, 07:38:23 »
Benchmarks unterliegen auf komplexeren Computern, auf denen im Hintergrund weitere Prozesse (und wenn es nur Interrupt-Routinen sind) ablaufen, immer gewissen Streuungen. Und auch ein ST/TT/Falcon ist kein KIM-1, hat also schon eine gewisse Komplexität. Mit Messtoleranzen im 1-stelligen Bereich muss man immer leben. Außer vielleicht auf einem KIM-1 oder einem Profi-50, dort ist das Verhalten ziemlich einfach vorhersehbar. Und natürlich darf man nicht Benchmarkergebnisse verschiedener Benchmarkversionen miteinander vergleichen, vor allem wenn an den Benchmarkroutinen selbst was geändert wurde. @czietz oder @mfro hat das mal ziemlich eindrucksvoll im Apollo-Forum vorgeführt, als es um die MIPS des 68080 im Vergleich mit anderen 68K-CPUs ging.
« Letzte Änderung: Di 19.02.2019, 07:41:16 von 1ST1 »
Ausgeloggter Mitleser, der hier NIE mehr aktiv wird. Am besten, meine Inhalte komplett löschen. Dabei berufe ich mich auf mein Urheberrecht, die DSGVO und auf die Rechte, die mir unter Impressunm&Datenschutz zugestanden werden. Tschö!