Ich habe einen Nvidia DGX Spark, bei dem ich in meinem Netzwerk etwas spielen möchte mit KI und den modernen Modellen. Der DGX Spark kann größere Modelle laden, wie mein PC und ist damit eine nette Entwicklungsumgebung.
Richtet man den Spark zuerst ein, marschiert man durch das First-Time Setup und kann sich dann auf den Spark per SSH verbinden.
Es gibt auch ein Dashboard, das jedoch nur kompliziert zu verwenden ist. Entweder über SSH Tunnel, Nvidia Software oder andere Technologien. Das ist mit zu kompliziert.
Die Anleitung von Nvidia zeigt, wie man mit den vorigen zwei Methoden auf das Dashboard kommt:
https://docs.nvidia.com/dgx/dgx-spark/dgx-dashboard.html#spark-dgx-dashboard
Ganz im Sinne des „ease of use“ möchte ich das Dashboard einfach aufrufen, ohne zusäzliche Software.
Damit es schnell und einfach funktioniert, wird einfach ein ngix installiert, der den Port öffnet, ohne dass ich irgendwo in Systemdateien o. Ä. vom Spark herum“pfuschen“ mus. Damit bleibt alles im Originalzustand und weiter so verwendbar, jedoch zusätzlich im LAN direkt erreichbar.
Zuerst Updates, dann ngix installieren:
sudo apt update
sudo apt install nginx
Danach die Konfiguration von ngix vornehmen:
sudo nano /etc/nginx/sites-available/dgx
Und in die Datei folgenden Inhalt einfügen:
server {
listen 11001;
server_name _;
location / {
proxy_pass http://127.0.0.1:11000;
proxy_http_version 1.1;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
Jetzt noch die Konfiguration aktivieren und starten:
sudo ln -s /etc/nginx/sites-available/dgx /etc/nginx/sites-enabled/
sudo nginx -t
sudo systemctl restart nginx
Damit ist nun der Spark im Web erreichbar unter seiner URL:
ACHTUNG: Die Verbindung ist nicht verschlüsselt! Damit kann recht einfach das Passwort mitgelesen werden!