Import aus OpenBiblio

[synchronierer]

Ich habe jetzt mal den Import von OpenBiblio zu OpenLibry getestet. Wenn das alles klappt, erstelle ich dazu gerne eine Anleitung für phpMyAdmin mit ein paar mehr Bildern. In einer Tabelle fand ich übrigens kein create_dt zum Sortieren.

[jzakotnik]

Der Import ist sicher nicht ganz easy, weil es echt an die DB Tabellen geht und in json umwandelt... Aber ist zum Glück nur 1x :-) . Kann gerne helfen bei Bedarf!

Ich würde mit der member.json (also den Usern) anfangen, das ist noch am Einfachsten..

[synchronierer]

Super, Danke im Voraus.
Den Export scheine ich hinbekommen zu haben, aber die Anleitung überfordert mich mal wieder, weil die wohl für die Bare- und nicht die Docker-Installation ist.
Ich finde mich ab hier (s.u.) nicht mehr zurecht:

In openlibry delete the database file dev.db and the migrations folder if it exists. Then recreate them with npx prisma migrate dev --name init

Run the app using npm run dev

Use API to import members curl -X POST -H "Content-Type: application/json" -d @member.json http://localhost:3000/api/openbiblioimport/migrateUsers

Use API to import books curl -X POST -H "Content-Type: application/json" -d @book_all.json  http://localhost:3000/api/openbiblioimport/migrateBooks

[synchronierer]

Ok, gefunden.
In den Container
docker exec -it openlibry /bin/sh
cd prisma
rm dev.db
rm -r migrations

[synchronierer]

Der Import der Bücher hat noch nicht geklappt, aber zumindest habe ich beim API-Import über das Host-Terminal keine Fehlermeldung sondern eine Auflistung aller Nutzer nach Abschicken von
curl -X POST -H "Content-Type: application/json" -d @member.json http://localhost:3000/api/openbiblioimport/migrateUsers
bekommen.

Es dauert ein bisschen, aber dann erscheinen dieser unter "Nutzer". Super!

[jzakotnik]

Wow, mega, darf man fragen wieviele User das so sind und ob die Felder einigermaßen vollständig sind? Bisher hatten wir nie mehr als 200 oder so..

[synchronierer]

729 :-D

[synchronierer]

Die Klasse fehlt und natürlich noch die Ausleih-Historie, aber ich hab ja auch noch nicht vollständig importiert.
Die fehlende Klassenbezeichnung ist momentan auch kein Problem.
Wichtig ist vor allem die lfd. Nummer und die sind drin.

[jzakotnik]

Die Klasse sollte mit importiert werden, da war bei uns bei OpenBiblio das Problem dass nur Zahlen erlaubt waren - in dem Datenmodell von OpenLibry sind auch Buchstaben ok (z.B. "5a").
Sind die Nummern richtig? Es gab ein Problem, dass sie um 1 versetzt waren, vermutlich weil die OpenBiblio ID bei 0 anfängt, aber die Ausweisnummern bei 1.
Die Ausleihhistorie haben wir uns beim Import bisher gespart, also man sieht wer was ausgeliehen hat, aber nicht die Historie

[synchronierer]

Hier hänge ich jetzt noch:
Export the following tables as json, sort them by date create_dt: member, biblio_status_hist, biblio, biblio_field, biblio_copy. Copy them together in book_all.json (this is a bit tedious). It is important to sort by date (oldest first), because the history of rentals needs to be in the correct order.

Mir ist nicht klar, in welchen Schritten das genau zu tun ist.

[jzakotnik]

Ja, das ist der umständlichste Schritt aber es wäre auch einigermaßen komplex gewesen, das zu automatisieren. Ich füge in das readme ein, wie man das am Besten angeht..

[jzakotnik]

Habe die Anleitung nochmal klarer gemacht aber es ist einfach sehr umständlich.. Ich schaue mal ob man dafür ein script machen kann.

[jzakotnik]

Dieses Shell Script mit perl scheint die Aufgabe auch zu lösen, ein kombiniertes JSON file für die Büchermigration zu erzeugen:

1. Die entsprechenden Tabellen als json files exportieren mit Dateinamen biblio, biblio_copy, biblio_field, biblio_status_histund member. In ein Verzeichnis z.B. content tun.
2. Dieses File als Template mit Namen book_all.json anlegen:

{
  "biblio_copy": {{biblio_copy}},
  "users": {{member}},
  "biblio": {{biblio}},
  "biblio_hist": {{biblio_status_hist}},
  "fields": {{biblio_field}}
}

3. Skript ausführen ./createMigrationFile.sh book_all.json content > book_finished.json
4. Das File kann man dann mit curl in OpenLibry pumpen wie in der Migrationsanleitung

[synchronierer]

Heute bin ich endlich zum Weitermachen gekommen.
Es scheint zu funktionieren, allerdings bekomme ich im letzten Schritt: Body exceeded 8mb limit

Was ich gemacht habe:

• aus phpMyAdmin die Tabellen biblio, biblio_copy, biblio_field, biblio_status_hist und member einzeln als JSON exportieren (wichtig: ohne .json-Endung in Ordner content speichern.
• eine Ebene über dem content-Ordner das Skript herunterladen, und ausführbar machen mit chmod +x
• Skript ausführen ./createMigrationFile.sh book_all.json content > book_finished.json
• Die NEUE Datei book_finished.json hochladen
  curl -X POST -H "Content-Type: application/json" -d @book_finished.json http://localhost:3000/api/openbiblioimport/migrateBooks
  --> hier erschien die Fehlermeldung

[jzakotnik]

Nice! Wie groß ist die Datei?

[synchronierer]

Einen Upload-Fehler bekomme ich jetzt nicht mehr, aber immer noch INVALID-JSON.
Hier sind die ersten Zeilen der Datei, unten folgen dann auch Benutzernamen, das will ich hier nicht posten:

{
"biblio_copy": ,{
"type": "table",
"name": "biblio_copy",
"database": "OpenBiblioLeseecke",
"data":
[
{
"bibid": "244",
"copyid": "1",
"create_dt": "2014-10-13 13:14:08",
"copy_desc": "",
"barcode_nmbr": "75210039",
"status_cd": "in",
"status_begin_dt": "2014-10-13 13:14:08",
"due_back_dt": null,
"mbrid": null,
"renewal_count": "0"
},
{
"bibid": "239",
"copyid": "1",
"create_dt": "2014-10-13 13:16:50",
"copy_desc": "",
"barcode_nmbr": "75210042",
"status_cd": "in",
"status_begin_dt": "2014-10-13 13:19:06",
"due_back_dt": null,
"mbrid": null,
"renewal_count": "0"
},

[jzakotnik]

@synchronierer vermutlich ist das Skript um die konsolidierte Datei zu erzeugen doch nicht so perfekt. Da ist ein Fehler bei "biblio_copy": ,{ weil das Komma zuviel ist. Das File ist auch bei einem Validator nicht korrekt, richtig?

[synchronierer]

Richtig:

Parse error on line 2:
{ "biblio_copy": ,{ "type": "tabl
------------------^
Expecting 'STRING', 'NUMBER', 'NULL', 'TRUE', 'FALSE', '{', '[', got ','

[jzakotnik]

Ich vermute, das Skript ist buggy, versuche doch mal eine Web Oberfläche dafür zu basteln, sonst ist es zu fehleranfällig.. Issue hier #87

[jzakotnik]

@synchronierer im aktuellen Main Branch (npm install nicht vergessen) ist jetzt eine Page unter /openbiblio vorhanden. Dort kann man die einzelnen json Files hochladen (egal wie sie heissen) und ein konsolidiertes File downloaden. Das sollte das Skript ersetzen. Das passiert direkt im Browser, d.h. die Daten werden nicht auf den Server geladen dafür.

[synchronierer]

Sieht super aus.
Ich bräuchte noch ein wenig Hilfe, die Seite zu implementieren. Was muss ich bitte machen, wenn der Container schon läuft?

[jzakotnik]

Die Seite ist schon drin (einfach auschecken oder nach git pull das container image neu bauen). Wobei mir grad auffällt dass es eigentlich Quatsch ist die json Datei downzuloaden und direkt wieder mit curl reinzuspielen. Kann das später auch direkt in der Seite einbauen dass die Daten in OpenLibry eingelesen werden

[synchronierer]

Ich hab das nicht hinbekommen. Aber einfach noch eine andere Instanz aufgesetzt. Die Seite konnte ich aufrufen und auch alle Datein uploaden, fertige Datei downloaden und über curl einspielen.

Das ergab folgende Meldung:
{"data":"3101 Books created with 0 rental status and 13162 fields"}

Allerdings tauchen die Bücher nicht auf der Seite auf. Ich habe ca. 30 Minuten gewartet, ob sich im Hintergrund noch etwas tut.

edit: Hab es eben nochmals mit unserer anderen Bib versucht, aber das gleiche
{"data":"988 Books created with 0 rental status and 1036 fields"} keine Fehlermeldung, aber die Bücher tauchen nicht auf

[jzakotnik]

@synchronierer die User waren auf der neuen Instanz schon angelegt? Sorry dass der Step so kompliziert ist, die Admin Seite um das automatisch reinzupumpen ist fast fertig, dann klappt es hoffentlich.

[synchronierer]

Ja, die User hatte ich als erstes migriert.
Die zweite Bib hat keine Ausleihe.

[jzakotnik]

Ich habe eben noch einen Change gepusht, bei dem die Import-Seite die Daten direkt importiert und den Log ausgibt (unter /openbiblio). Habe mit einer leeren Datenbank getestet und da hat alles funktioniert - es sollte ungefähr so aussehen nach dem Import:

[synchronierer]

Ich habe die Datein hochladen können und bekomme auch angezeigt, wie viele Felder er aus jeder Datei lädt.
Der Klick auf Benutzer bzw. Bücher importieren bewirkt aber keine weitere Aktion.
Ich kann keine Änderung an der dev.db oder im Ordner migrations (bzw. nach dem Löschen wird kein neuer erstellt nach dem Klick) bemerken.

[jzakotnik]

@synchronierer das hört sich tatsächlich so an, als ob das ganze in eine andere Datenbank geschrieben wird. Wir könnten mal gemeinsam via Screenshare drauf schauen?
Optional wäre noch eine Idee in den Logfiles vom Server in Docker zu schauen ob dort Fehlermeldungen zu sehen sind.

[synchronierer]

Hallo, das können wir gerne machen. Können wir die Details über PM besprechen?