• 13 Posts
  • 874 Comments
Joined 3 years ago
cake
Cake day: June 9th, 2023

help-circle
  • Gibt es irgendwelche Evidenz, dass das nicht so ist?

    Hatte ich doch geschrieben - ich habe diverse Tools die mich etwa 2-3 Wochen Arbeit gekoestet haetten, und ich so in knapp unter einer Woche gebaut habe. Mit Aufarbeiten des Codes damit er wartbar ist - fuer Wegwerftools ist das etwa ein Tag. Weitere Entwicklung danach mach ich manuell, da taugt das nicht fuer, unter anderem wegen fehlendem Codeverstaendnis fuer das was er generiert hat. Hauptarbeit ist auch das so zu lenken dass wartbarer Code rauskommt.

    Ergebnis haengt auch sehr stark von der Sprache ab - ich hatte mit Abstand die besten Ergebnisse mit elisp (und mir da auch diverse Sachen gebastelt fuer die ich sonst keine Zeit gehabt haette). Das hilft da deutlich dass es durch den lisp-interpreter gute Fehlermeldungen gibt, und die eingebaute Dokumentation exzellent ist. Da die Welt wohl leider nicht auf Emacs umsteigen wird ist das allerdings fuer die meisten Leute wohl eher nicht relevant.



  • Ich beschreibe hier lediglich meine eigenen Erfahrungen - ich halte nicht viel davon Dinge blind zu hassen ohne sich das naeher angeschaut zu haben. I spiele seit etwa drei Jahren mit LLMs, hauptsaechlich auf lokaler Hardware. Die letzten Monate kamen Claude credits dazu weil es fuer bestimmte Probleme tatsaechlich Sinn gemacht hat.

    Mein Hauptproblem mit LLMs ist der massive Energieaufwand, vor allem fuer Training - da sollte reguliert werden dass das zwingend erneuerbare Energien sein muessen (und zwar dafuer neu gebaut, nicht bestehende), und entsprechende Strafzoelle auf Benutzung von LLMs ausserhalb von EU wo wir nicht regulieren koennen. Das naechste ist dass der aktuelle Hype zum einen eine unnoetige Investitionsblase ist, zum anderen dann ohne Nachzudenken ueberall LLMs eingebaut werden, ohne dass verstanden wird zu welchem Zweck, oder auch wie das Fehlerverhalten ist. Zu Fehlerverhalten bei Codegenerierung habe ich oben ja was geschrieben - ich hab bisher grob 100EUR an Claude Credits verbrannt einfach nur um zu beobachten wie das Ding versucht weiterzumachen wenn es steckenbleibt (tl;dr: in dem Fall ist es praktisch immer besser das von Hand zu machen - teilweise ist es klar billiger, und ansonsten wird ziemlich sicher der erzeugte Code scheisse sein, bzw, deutlich zu viel neu schreiben).

    Ich gehe davon aus dass wir langfristig mit LLMs arbeiten werden - aber sicher >95% der aktuellen Einsatzzwecke ein Platzen der Investitionsblase nicht ueberleben werden, aus einer Kombination von “das war von Anfang an doof” und “nachdem die jetzt tatsaechliche Kosten bezahlt haben wollen ist das zu teuer”. Ich gehe auch nicht davon aus dass bei Bezug auf Code wir eine Verbesserung ueber die 10k-20k LOC sehen werden - auch um das zu erreichen steigt die Koordinationsarbeit vom Menschen um die relevanten Informationen im Context Window zu halten, und ein Vorhalten von nennenswert groesseren Context Windows wuerde das zu sehr verteuern.

    Ich wuerde darauf tippen dass generell das Generieren von Code mit Ende der Blase deutlich weniger werden wird - das duerfte sich dann nur noch bei Modellen lohnen die man lokal laufen lassen kann. Bei Reverse Engineering und aehnlichen Analysen wuerde ich erwarten dass das weiterhin viel genutzt wird - da sind heute schon lokale Modelle recht nuetzlich.


  • Ich sehe vor allem bei kleinen, klar abgegrenzten Projekten einen Vorteil - Dinge die man in 10-20k Code machen kann. Danach bekommt das LLM auch massiv Probleme, und macht zu viel Duplizierung von Code - ab der Schwelle etwas ist es fast immer schneller ein Problem selber zu beheben.

    Auch um da hinzukommen braucht es recht viel Anleitung - das ist praktisch wie wenn man einen Berufsanfaenger anleitet der alle Patternbooks auswendig gelernt hat, aber nicht so richtig versteht wie man das in eine funktionierende Anwendung zusammensetzt. Wirklich gute Erbebnisse bekommt man auch nur wenn man von Anfang an so arbeitet dass die KI ihren Code testen kann (wer schon laenger dabei ist wird sich an “test driven development” erinnern - die Methodik ist ideal mit KI). Aber auch da gibt es Ausreden (“ich hab den Test nicht kaputtgemacht, der hat noch nie funktioniert”), und oft genug Probleme die sich mit Erfahrung schneller (und eventuell billiger) loesen lassen als mit KI. Man sieht da recht schoen dass der erzeugte Code am Anfang oft nicht compiliert - ohne dass die KI selber Compilieren kann scheitert das schon daran. Und bei Problemen werden so lange Variationen durchprobiert bis das tut - was sehr schoen zeigt dass eben keinerlei Codeverstaendnis vorhanden ist.

    Gerade bei existierenden Projekten fuehrt das dann dazu dass die vorgeschlagenen Aenderungen deutlich groesser sind als noetig - was fuer die Nachvollziehbarkeit spaeter ein Problem ist.

    Wir machen als Firma viel um CI und Testautomatisierung - und haben da immer wieder Bedarf an spezialisierten und relativ kleinen Tools. Fuer den Spezialfall ist das ideal - das ist so Groessenordnung 20 EUR API-Credits und ein Tag Anleitung, gefolgt von 3-4 Tagen Code saubermachen gegenueber 2-3 Wochen komplett selber machen.

    Ich koennte mir denken dass man in einer reinen Microservicesumgebung (sofern man die einzelnen Services bei 10-20k LOC halten kann) damit die Entwicklung deutlich beschleunigen kann - das trifft aber eben nur auf einen Bruchteil der Software da draussen zu.






  • aard@kyu.detoich_iel@feddit.orgich🚄iel
    link
    fedilink
    arrow-up
    5
    ·
    8 days ago

    Ging mir hier mehr um die Handhabung - das kam alles zu mir, noch im Zug, auf Initiative des Zugbegleiters.

    Aehnliche Situation in Deutschland - lange Schlange vor dem Beschwerdeschalter, wo ich ich dann erst noch die Leute fragen durfte ob sie jetzt den Arsch offen haben den Schalter wegen “Feierabend” zumachen zu wollen waehrend der halbe Zug noch auf Hilfe wartet. Gefolgt von einer Diskussion ob ich wirklich ein Taxi bezahlt haben muss, ich koennte die geplante 30 Minuten Direktverbindung doch mit mehrmals Umsteigen innerhalb der naechsten 6+ Stunden auch noch hinbekommen (die haetten mich wild in der Gegend rumfahren lassen, bis dann die ersten Zuege zu meinem Zielort am naechsten Morgen wieder fahren).


  • aard@kyu.detoich_iel@feddit.orgich🚄iel
    link
    fedilink
    arrow-up
    25
    ·
    9 days ago

    Mir ist das einmal in Finnland passiert dass wir so viel Verspaetung hatten dass an dem Tag keine Anschluesse mehr gehen. Der Zugbegleiter ist dann durch den Zug und hat in jedem Wagen nach betroffenen gefragt, die in Gruppen eingeteilt, und dann Bezahlkarten fuers Taxi zur Einmalnutzung ausgeheben.

    Ich hatte Glueck - ich war der letzte, alle Taxen voll: Alleine gefahren, und daher da aehnliche Entfernung direkt zur Haustuer statt zum Bahnhof.

    Wie das gehandhabt wurde war Welten von allen aehnlichen Problemen mit der DB entfernt.


  • aard@kyu.detoich_iel@feddit.orgIch🚫🤖iel
    link
    fedilink
    arrow-up
    2
    arrow-down
    1
    ·
    9 days ago

    Mail schreiben war tatsaechlich eine der ersten Sachen die ich bei der Emacsintegration gemacht habe, noch lange bevor die ganze aktuelle Automatisierungssache aufkam.

    Gerade bei Deppen die zu bloed zum lesen sind ist das grossartig um eine Antwort zu schreiben die das Problem herablassend nochmal erklaert, gerade so dass es offensichtlich ist dass man die andere Seite fuer einen Idioten haelt, aber nicht genug dass man dafuer Probleme bekommt. ChatGPT ist richtig gut darin passiv-agressive Texte zu schreiben, und genau an den gewuenschten Level anzupassen, ohne dass mein Blutdruck hochgeht weil ich die Person muehsam von Hand beleidigen muss.

    Und laenger als was ich schreiben wuerde wirds auch nicht wenn system prompt und prompt stimmen.



  • aard@kyu.detoich_iel@feddit.orgich🚄iel
    link
    fedilink
    arrow-up
    3
    ·
    12 days ago

    Dank deren Inkompetenz sogar mehr als das - als ich das letzte mal von meinen Eltern nach Zuerich zum Flughafen gefahren bin ist mein Zug ausgefallen. War kein Problem - kennt man auf der Verbindung, deswegen hatte ich damit geplant. Aber Erstattungsantrag ueber App (oder wars Online?) kennt nur Zugausfall, nicht “ich war so weit verspaetet dass ich da auch Geld bekomme”. Dafuer haetten sie nen Anruf oder Papier oder was auch immer gewollt - also halt einfach Zugausfall gemeldet, und sehr schnell den kompletten Fahrpreis zurueckbekommen.


  • Bush speziell ist schon relevant - viele der Gesetze die Trump das gerade ermoeglichen gehen auf Bush zurueck, und da wurde auch viel gewarnt wie das missbraucht werden kann (und man wurde dann als uebermaessig paranoid beschimpft). ICE ist Teil von DHS - und das geht auf Bush zurueck.

    Wir hatten die gleiche Diskussion ueber Durchsuchung von Geraeten und Onlineaccounts unter Bush, mit der Befuerchtung nicht reinzukommen bzw. in Abschiebehaft zu geraten. Das ist exakt eine Wiederholung von der Situation unter Bush, nur halt nochmal heftiger.

    Obama zwischendrin war zwar nicht ganz so uebel - hat aber nix zurueckgerollt, und unter ihm gabs auch einiges an fraglichen Aktionen. Das besondere an Trump ist jetzt nur dass der einen Speedrun versucht - der Trend ist schon seit Jahrzehnten klar, und ohne Trump waeren wir halt 20 Jahre spaeter dann da angekommen wo wir jetzt sind. Nur halt dass wir vermutlich immer noch den USA in den Arsch kriechen wuerden weil man sich langsam an alles gewoehnt hat.

    Die Spionagesachen vor etwa 10 Jahren waren auch nur kurzfristige Empoerung, und dann wars vorbei - das war damals schon nicht unerwartet, und man haette damals schon einen harten Schnitt machen muessen. Ich bin Trump daher schon etwas dankbar dass er gerade dafuer sorgt dass wenigstens ein paar mehr kapieren dass wir hier in Europa eigenstaendig sein muessen, und denen da drueben nicht vertrauen koennen - und das hat mit Trump nix zu tun.


  • Wir wollten beim Kunden fuer 2026 geplante Server mit ordentlich RAM (mehrere TB) noch schnell im Spaetherbst kaufen - was die dann nicht wollten. Im ersten Meeting dieses Jahr hab ich dann gesagt wir werden das wohl bis mindestens mitte 2027 verschieben muessen.

    Die wollten dann genauere Zahlen haben weil “bekommen wir sicher hin”. Als wir das kaufen wollten waeren das etwa 35000 Euro geworden - aktuell ist das deutlich 6-stellig. Bekommt ma wohl doch nicht noch hin :)