Group by mit ungefähr gleichen Zeilen?

Basti_701e05 · 1. August 2006 um 10:26

Hallo,
ich habe folgedes Problem.
Ich habe Zeilen mit Fehlermeldungen Vorliegen, in den sich nur manche Zeichen unterscheiden, jedoch die Zeile= der anderen Zeile ist, welche sich ja nur an 2-3 Zeichen unterscheidet.

Komplizert zu verstehen ich weiß, aber Das Problem besteht leider.

Jetzt möchte ich euch fragen, ob es nicht Irgendwie möglich die Zeilen Trotzdem zu gruppieren/ zusammenzuzählen.

Vielen Dank für eure Hilfe.

Grüße

M_L_ · 1. August 2006 um 10:35

Auch hallo.

Also ohne Angabe des DBMS und eines konkreteren Beispiels wird das zwar schwieriger, aber der LIKE Operator könnte weiterhelfen.

HTH
mfg M.L.

Basti_701e05 · 1. August 2006 um 10:45

MS SQL SERVER

das problem mit Like ist, dass es 38000 Zeilen sind mit circa 40 unterschiedlichen Fehler, also im Ansatz gleich bis auf wenige Zeichen.

beispiel

Schüler3:Klasse5:Raum432:Lehrerb:EintrittsNummer4
Schüler5:Klasse5:Raum432:Lehrerb:EintrittsNummer3
Schüler2:Klasse5:Raum432:Lehrerb:EintrittsNummer2

und jetzt sollen aber alle SChüler mit gelichen raum klasse etc zusammen gehören und als einheitlicher Schüler gemacht werden.

und was zum thema like noch dazu kommt ist, dass die Meldungen ca 400 zeichen haben!!

danke für deine Antwort, ging ja recht fix

Peter_Goppelt_Langer_d5bddf · 1. August 2006 um 13:14

Hallo,

dein eigentliches Problem ist, dass du die !. Normalform verletzt hast: Daten müssen atomar vorliegen.

Du kannst entweder über eine Prozedur/Trigger die einzelnen Teile in eigene Felder aufteilen oder dies bei jedem Select machen. (Z.B. mit SUBSTR)

Gruß

Peter

i:und jetzt sollen aber alle SChüler mit gelichen raum klasse

Basti_701e05 · 1. August 2006 um 14:16

Hallo,
was meinst du mit Atomar?
Atomar= alle daten einzigartig?

Wie könnte so eine Prozedur aussehen?

ich habe jetzt für meine verschiedenen Fälle einzelne Substring abfragen . Das kann nicht die lösung sein/bleiben da immer wieder andere Fehler kommen können.
gruß

Ulrich_Vaid · 1. August 2006 um 16:09

–> Ideales Beispiel für ein vermurkstes Datenmodel, resp. das Fehlen eines solchen. Ist es möglich, das Datenmodell zu korrigieren ? Die Daten sollten per Script ohne grössere Probleme in ein korretes Modell überführt werden können.

Peter_Goppelt_Langer_d5bddf · 1. August 2006 um 18:18

Hallo,

atomar heißt unteilbar.

Besser wäre also statt ein Feld mit Schüler3:Klasse5:Raum432:Lehrerb:EintrittsNummer4,
eins mit Schüler, eins mit Klasse, eins mit Raum, eins mit Lehrer und eins mit der Eintrittsnr.
Also 5 Felder und nicht nur eins.

Wenn du die Felder einfach ergänzt, kannst du sie mit einer Prozedur befüllen, die halt einfach den String auseinander nimmt und auf die einzelnen Felder verteilt.

Gruß

Peter

schüler

Tomh · 1. August 2006 um 19:17

Hi!

Ich glaube, das Problem liegt hier weniger in der 3.Normalform, sondern daß hier Zeilen als Fehler zurückgeliefert werden - machen wir auch so: Timestamp, Ebene des Fehlers, welches Programm und dann noch ein frei definierbarer Textstring, der von allen möglichen Applikationen verwendet wird und somit nicht unterschieden werden kann, welches Feld welchen Wert mit welchem Fehler besitzt - und da kommen halt auch solche Ungetüme raus; wobei diese Tabelle nur für uns Entwickler dient, damit wir sehen, warum wieder mal was schiefgegangen ist …

select substr(fehlerfeld,10,23) as fehler,count(\*) as anzahl
from fehlertabelle
where fehlerfeld like 'Schüler%Klasse%Raum%Lehrer%'
group by substr(fehlerfeld,10,23)

würde dann ein

fehler anzahl
--------------------------- ------
Klasse5:Raum432:Lehrerb 3
Klasse6:Raum433:Lehrerc 2

Wobei das hier (natürlich die Oracle-Notation ist, aber mit SQL-Server schaut’s ähnlich aus - ich glaub, da heißt’s dann sogar „substring“???

Grüße,
Tomh

PS: Oder habe ich hier irgendwas komplett falsch verstanden …

Peter_Goppelt_Langer_d5bddf · 1. August 2006 um 22:23

Hallo Tomh,

ja, der Thread mit der 3NF steht im anderen Board. Hier wird ja auch nicht die 3NF, sondern schon die 1NF, die Atomarität der Daten veletzt.

Der Rest ist gut und kommt etwa aufs Gleiche raus, wie ich auch vorgeschlagen habe. Ist halt etwas Aufwendiger, das beim Select zu machen. Besser, es steht schon richtig in der Tabelle drin.

Gruß

Peter

Basti_701e05 · 2. August 2006 um 08:53

Guten Morgen,
Tomh genau wie du das erzählst, wird auch meine Zeile aufgebaut.
Das Problem bei mir liegt halt dort, dass ich diese Tabelle auswerten möchte und dazu manche Fehler Zeilen angleichen muss. Im Moment mache ich das schon mit Substring (…) Abfragen, aber das geht auf die Dauer nicht gut, da für jeden einzelnen Fehler die Methode neu geschrieben werden muss und das liegt nicht in meinem Sinne.
Ich werde mir jetzt wohl von dem der die Fehlermeldungen gebaut hat, also zumindest programmiert hat mitteilen lassen, wie die einzelnen Abschnitte von einander getrennt werden

Vielen Dank für eure mühe und wenn euch was einfällt einfach nur schreiben.

Grüße Basti

Basti_701e05 · 2. August 2006 um 09:03

Hallo,
naja ich bin noch nicht so in der Materie drin. Ich habe meine Daten auch nur so bekommen. Das zerlegen wird wohl auch die letzte Möglichkeit bleiben, ist aber sehr komplizert. Da eine Zeile schon mal aus 500 Zeichen besteht und 4 verschiedene Abgrenzungen besitzt.
Hä? Ja ich meine eine Zeile besteht aus 4 Meldungen, die einfach durch || oder // … aneinander gehängt worden.
Das Problem ist ja nicht nur das der Fehler aus solch vielen Information besteht sondern das die Tabelle noch mehr Spalten hat welche in dann mit den Fehlern per Cube bearbeitet werden sollen.
so ich werde mich auf mein Problem stürzen.

Danke für eure HIlfe

drambeldier · 2. August 2006 um 09:54

Thema Migration
Hi Basti,

lies den Krempel in Excel ein, dann hast Du die Felder schon mal als Spalten vorliegen. Anschließend nach Belieben sortieren, gruppieren, vereinzeln und schon hast Du Ladebestände für eine anständige Datenbank.

Gruß Ralf

Basti_701e05 · 2. August 2006 um 10:08

Habe ich mitlerweile gemacht, nur klappt das mit dem Text in Spalten… noch nicht so ganz. daran fummel ich gerade ein bisschen rum!

griß Basti

drambeldier · 2. August 2006 um 10:45

Hi Basti,

Trennzeichen „:“, dann wird das schon.

Gruß Ralf

Basti_701e05 · 2. August 2006 um 10:50

hihi schön wäre es eine zeile sieht ungefähr so aus

Error: Operation: DEACTIVATE_CC Code: EXCPT_UNABLE_TO_COMPLY||Error deactivating SNC: 49_89_200_7102/0131313, jobObj.reason:SNC com.marconi.integrator.interfaces.csb.tcmp.cocos.database.snc.SubnetworkConnection/1461038 kann nicht gelöscht werden: Errortype: OBJECT_NOT_FOUND(23) Severity: FAILURE(1) RetryTime:0 Reason:AAdapt

und ich bin gerade dabei herraus zu finden wo da die ketten zusammen gesetzt wurden.

also leider nix mit „:“

drambeldier · 2. August 2006 um 19:21

Hi Basti,

dochdoch. Erstmal mit „:“ zerlegen, dann kannst Du schon mal eine ganze Menge Spalten löschen, nämlich die Teile, die nur Standardtexte enthalten. Irgendwann kommst Du in die Nähe der Daten, die wichtig sind.

Gruß Ralf

Basti_701e05 · 3. August 2006 um 10:51

Hallo Ralf,
nach einer stressigen langen Qual, ist die Tabelle jetzt endlich so, dass sie mir gefällt .
dann werd ich jetzt mal meine Views erneut bauen.

Grüße Basti

ps bei fragen meld ich mich