Große Daten auf anderen Server hochladen

[Fugel]

Hallo Leute,

ich hoffe mal auf eure Kompetenz und eine eventuelle Idee wie ich mein Problem lösen kann.

Ich möchte mir eine Website bauen auf der Kunden größere Daten hochladen können. Der Kniff dabei ist aber, dass diese nicht auf den Server der Website landen sollen, sondern auf einem NAS mit Internetzugang hier bei mir im Büro.
Dabei kann es auch sein, das der Kunde mehrere Daten auf einmal hochlädt (multiupload).

Was die konfiguration des NAS angeht, so bin ich hier recht frei. Ich kann einen FTP oder Webserver einrichten, oder wenn es noch andere Möglichkeiten gibt, dann auch gern was anderes. Zur Info: es Handelt sich um ein Synologie NAS.

Danke schonmal für eure Ideen.

 

[lachender_engel]

Und was genau ist Deine Frage?

 

[LikeLowLight]

auf der Kunden größere Daten hochladen können

Welche Größe (in MB oder GB)? Große Daten oder große Datenmengen?

das der Kunde mehrere Daten auf einmal hochlädt (multiupload).

Das kommt wohl sehr auf die Übertragungsgeschwindigkeit der Uploads an. Wenn Deine Kunden echte Highspeed-Anschlüsse haben, dann wirst Du auch für die Downloads entsprechende Übertragungskapazitäten anbieten müssen.

Ansonsten wie #2, was ist die Frage?

 

[owieortho]

Du willst also Dein privates oder Firmennetzwerk, dessen Teil das NAS wohl sein wird, dauerhaft zumindest auf einigen ports öffnen. Dann gehe ich davon aus, dass Du bestens über Serversicherheitsaspekte etc. bescheid weisst. Aber irgendwie scheint mir Deine implizierte Frage nicht dazu zu passen. Will sagen, jemand, der sich mit der Netzwerksicherheit auskennt, würde Deine Frage gar nicht stellen.

2ct.
O.

 

[Fugel]

Welche Größe (in MB oder GB)? Große Daten oder große Datenmengen?

Das kann mal nur 1mb aber auch mal 5gb sein.

dann wirst Du auch für die Downloads entsprechende Übertragungskapazitäten anbieten müssen.

Ein Download der Daten ist nicht vorgesehen.

Du willst also Dein privates oder Firmennetzwerk, dessen Teil das NAS wohl sein wird, dauerhaft zumindest auf einigen ports öffnen.

Nein das möchte ich nicht...Firmennetzwerk und NAS sind von einnander getrennt.

Und was genau ist Deine Frage?

Die Frage ist: Wie ich das am besten mittels PHP umsetzen könnte, also wie ich es auf einen anderen Server lade?

 

[LikeLowLight]

Ein Download der Daten ist nicht vorgesehen.

Für Deinen Anschluss ist es natürlich schon ein Download, denn was von Deinem Provider kommt, ist ein Download. Wenn Deine Kunden Highspeed-Uploads zur Verfügung haben, dann wäre Dein Anschluss der Flaschenhals. Doch die Einschätzung des Traffics musst Du treffen.
Ansonsten wird man an der unteren Grenze noch nicht von großen Datenmengen sprechen, am anderen Ende, mit Parallelübertragung, schon eher.

 

[Fugel]

Die Frage ist auch ob es so wie es mir denke überhaupt halbwegs sinnvoll möglich ist. Wir haben hier eine 150 Leitung, also genug würde ich sagen. Es handelt sich auch täglich nur um max. 5-10 Datenübertragungen, mehr nicht.

Vielleicht gibt es ja auch eine bessere Möglichkeit soetwas zu erledigen, ich bin im Moment erstmal am ausloten und Ideen sammeln.

 

[owieortho]

Hast Du Dir schon mal owncloud/nextcloud angeschaut? Es gibt Projekte, dies mit einem RPi von "zuhause" aus bereitzustellen. Je nach dem, welche Möglichkeiten Dir die Synology Software zu Verfügung stellt, kannst Du die NAS als Speicher an den Webserver anbinden oder ein mitgelieferter Webserver erlaubt Dir die Zusatzinstallation.

O.

 

[Fugel]

owncloud/nextcloud

Danke, das ist ein guter Hinweis. Da werde ich mich mal einlesen, klingt auf jeden Fall schonmal gut.

 

[tdorsch]

Der Kunde soll Dir unterschiedliche Dateien in unterschiedlichen Größen bereitstellen. Ich habe ähnliche Überlegungen gehabt und verschiedenes verworfen. Dazu ein paar Gedanken.

1. Den Zugang zu einem NAS von Gästen kann man bei Synology mit dem Synology-Programm Diskstation lösen, Inc. Rechtsvergabe usw. Leider hast Du Dein Betriebssystem nicht angegeben, somit kann man nur eingeschränkt Empfehlungen geben.
Problemstellung: Du bist verantwortlich, was bei Dir an Daten landet und wieviel. Dazu die Möglichkeit, dass Du ungewollt Teil eines Bot-Netzes wirst, wenn Du nicht dauernd nachpflegst. Auch kann Dir jemand relativ schnell denPlatz auf Deinem NAS zuballern, trotz Quota.

2. Für eine konstante und gleichmäßige Internetverbindung brauchst Du eine hohe Verfügbarkeit, die bei den normalen DSL-Anschlüssen nicht gegeben ist. Dazu werden feste IP-Adressen benötigt, die Du i.d.R. bei vernünftigen Webspace-Angeboten bekommst.
Schwierigkeit: Du bist verantwortlich, was bei Dir an Daten landet und wieviel.

3. Vielleicht ist ein Dienst wie wetransfer besser geeignet. Du kannst den Dienst personalisieren, zahlst einen überschaubaren Betrag und musst Dich nur zurücklehnen. Da Du anscheinend auch unterwegs bist, kannst Du von unterwegs die Kundendaten wesentlich administrieren, weiterleiten, herunterladen, usw und kannst festlegen, wann automatisch die Daten gelöscht werden. Bekommst Benachrichtigungen, wenn etwas eingegangen ist und und und ....
Schwierigkeit: Kostet halt.

Tja, das wäre mein Input.

 

[Fugel]

Bei mir ist nur noch das Problen, ich muss den ganzen Uploadschritt in eine PHP Anwendung integrieren, da hier auc noch Formulardaten dazu verarbeitet werden müssen.

 

[owieortho]

Wenn Du keine fertige Lösung - was ich empfehlen würde - finden kanns, dann könnte es eine Möglichkeit sein, den Link zu Deiner Synology-Upload-Funktion hinter ein auszufüllendes Formular zu legen.
Aber ich favorisiere immer noch eine fertige Lösung, denn das alles zusammen (neben Formularverarbeitung, Uploadfunktion, etc. ist ja auch möglicherweise noch Rechtevergabe u. ä. zu bewerkstelligen) ist nicht so ganz trivial.

O.

 

[Fugel]

Wenn Du keine fertige Lösung - was ich empfehlen würde - finden kanns, dann könnte es eine Möglichkeit sein, den Link zu Deiner Synology-Upload-Funktion hinter ein auszufüllendes Formular zu legen.
Aber ich favorisiere immer noch eine fertige Lösung, denn das alles zusammen (neben Formularverarbeitung, Uploadfunktion, etc. ist ja auch möglicherweise noch Rechtevergabe u. ä. zu bewerkstelligen) ist nicht so ganz trivial.

O.

Da bin ich auf jeden Fall bei dir. Ich habe jetzt sogar eine Lösung gefunden die auch noch von Synology angeboten wird. Es wird wohl eine Kombination aus Synology Chat und Synology Drive werden. Die beiden arbeiten super zusammen und bringen mir in Verbindung genau was ich suche.

 

[webcasi]

Du kannst natürlich auch eine Webanwendung nehmen und dort die entsprechenden Formulare und Uploadseiten mit Berechtigungen zur Verfügung stellen.
Hier gibt es auch sogenannte Case Tools wie Scriptcase, bei dem man wenig Vorkenntnisse in PHP, HTML, Javascript braucht.
Ist aber nicht kostenlos.

 

[Curanai]

Es klingt nach einer Druckerei aka Weiterverarbeitung für Rohdateien - nur da weiß ich, dass solche Schwankungen existieren.

Ein Ansatz:
- Website bauen
- Upload via Website (!)
- Aufbereitung und zur Abholung bereitstellen

Ein Upload über die Website direkt ins NAS dürfte aus mehreren Gründen nicht klappen und kann aus Sicherheitsgründen auch nicht erwünscht sein.

Sinnwahrend:
- Domain hat eigenes Uploadverzeichnis (nicht das Standard-temp des Servers, bitte)
- Verzeichnis mittels md5 aus bspw. Kundennummer anlegen (liegt außerhalb des Webservers)
- weiteres, darunter liegendes Verzeichnis (bspw. Job-Nummer) mittels md5 anlegen
- Dateien des Uploads in nur dieses Verzeichnis final schieben
- zippen des Gesamtpakets (Verz + Files) mit Namen md5(time() + Salt) + Pepper (nun gezippte Dateien löschen)
- Verschieben des Pakets in einen erreichbaren Bereich (Killerfeature: variabler Verzeichnissname je Meldung)
- Meldung an NAS-Webserver, dass hier ein Paket mit Namen (s. o.) zur Abholung liegt
- NAS holt mit file_get_contents oder curl ab
- bei Fertigstellung: Trigger zum Löschen auslösen und Namen (s. o.) wird entfernt (u. U. auch der variable Verzeichnisname)
- bei Fehlschlag: E-Mail an Admin, dass unter URL eine Datei für den manuellen Download liegt (packt man die URL wieder an einen Service, wird der nur angestoßen).

Achtung: Inhalte können dennoch toxisch sein (Webshell, Viren, Malware usw.).

Viel Erfolg.