Hallo,
ich importiere täglich etwa 500k Datensätze in eine SQL-Datenbank.
Das geht mittels csv import auch ziemlich fix
dabei habe ich jeweils 3mal 1 datum in der Form YYYYMMDD (20130225) und eine Uhrzeit als "Sekunden seid 0 Uhr".
Aus beiden Spalten muss ich einen Unixtimestamp machen.
sämtliche Spalten der Tabelle haben einen INDEX.
Mit PHP ist das an sich kein großes Problem. Aber der Spass braucht fast 3h.
Das ist zu lange.
Ich bin auf der Suche, nach Lösungen, die den Vorgang deutlich beschleunigen können.
Das einlesen der kompletten 500k Datensätze ist nötig um die Daten kosistent zu halten. An der Menge ist also nix zu drehen.
Danke schonmal für eure Antworten.
ich importiere täglich etwa 500k Datensätze in eine SQL-Datenbank.
Das geht mittels csv import auch ziemlich fix
dabei habe ich jeweils 3mal 1 datum in der Form YYYYMMDD (20130225) und eine Uhrzeit als "Sekunden seid 0 Uhr".
Aus beiden Spalten muss ich einen Unixtimestamp machen.
sämtliche Spalten der Tabelle haben einen INDEX.
Mit PHP ist das an sich kein großes Problem. Aber der Spass braucht fast 3h.
Das ist zu lange.
Ich bin auf der Suche, nach Lösungen, die den Vorgang deutlich beschleunigen können.
Das einlesen der kompletten 500k Datensätze ist nötig um die Daten kosistent zu halten. An der Menge ist also nix zu drehen.
Danke schonmal für eure Antworten.