summaryrefslogtreecommitdiff
diff options
context:
space:
mode:
Diffstat
-rw-r--r--.gitignore4
-rw-r--r--buergeramt.go140
2 files changed, 144 insertions, 0 deletions
diff --git a/.gitignore b/.gitignore
new file mode 100644
index 0000000..1becb05
--- /dev/null
+++ b/.gitignore
@@ -0,0 +1,4 @@
+*.swp
+*~
+
+buergeramt
diff --git a/buergeramt.go b/buergeramt.go
new file mode 100644
index 0000000..9bf06f8
--- /dev/null
+++ b/buergeramt.go
@@ -0,0 +1,140 @@
+package main
+
+import (
+ "encoding/json"
+ "fmt"
+ "log"
+ "net/url"
+ "strconv"
+ "time"
+
+ "github.com/PuerkitoBio/goquery"
+)
+
+type T struct {
+ Termin []Termin
+}
+
+type Termin struct {
+ Tag []Tag
+ Monat string
+ Jahr int
+}
+
+type Tag struct {
+ Tag string
+ Link string
+ Uhrzeit []string
+}
+
+func ScrapeHtml(url string) []Termin {
+ doc, err := goquery.NewDocument(url)
+ if err != nil {
+ log.Fatal(err)
+ }
+
+ Termine := []Termin{}
+
+ doc.Find("tbody").Each(func(count int, s *goquery.Selection) {
+
+ Termin := Termin{}
+ Termin.GetMonthAndYear(url, count)
+
+ s.Find("td.buchbar").Each(func(j int, s *goquery.Selection) {
+ T := Tag{}
+ link, ok := s.Find(".tagesauswahl").Attr("href")
+ T.Tag = s.Find(".tagesauswahl").Text()
+ if !ok {
+ fmt.Println("Nicht ok", ok, link)
+ }
+ T.Link = "https://service.berlin.de/terminvereinbarung/termin/" + link
+
+ T.GetTime(T.Link)
+
+ Termin.Tag = append(Termin.Tag, T)
+
+ })
+
+ if Termin.Tag != nil {
+ Termine = append(Termine, Termin)
+ }
+ })
+
+ return Termine
+}
+
+func (Termin *Termin) GetMonthAndYear(urlstring string, count int) {
+ u, err := url.Parse(urlstring)
+ if err != nil {
+ log.Fatal(err)
+ }
+ p, err := url.ParseQuery(u.RawQuery)
+ if err != nil {
+ log.Fatal(err)
+ }
+ if len(p["Datum"]) > 0 {
+ i, err := strconv.ParseInt(p["Datum"][0], 10, 64)
+ if err != nil {
+ log.Fatal(err)
+ }
+ tm := time.Unix(i, 0)
+ year, month, _ := tm.Date()
+
+ m_offset := time.Month(count)
+ month = month + m_offset
+
+ // Detect overflow
+ if month > 12 {
+ month = month - 12
+ }
+ Termin.Monat = month.String()
+ Termin.Jahr = year
+ }
+}
+
+func (T *Tag) GetTime(url string) {
+ if url == "" {
+ return
+ }
+ doc, err := goquery.NewDocument(url)
+ if err != nil {
+ log.Fatal(err)
+ }
+
+ doc.Find("tbody").Each(func(i int, s *goquery.Selection) {
+
+ s.Find("th.buchbar").Each(func(i int, q *goquery.Selection) {
+ T.Uhrzeit = append(T.Uhrzeit, q.Text())
+ })
+ })
+}
+
+func main() {
+ T := T{}
+ url := []string{}
+
+ /*
+ url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1446332400&anliegen[]=120703&dienstleister[]=122208&herkunft=1")
+ url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1448924400&anliegen[]=120703&dienstleister[]=122208&herkunft=1")
+ */
+
+ url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID&buergername=&absagecode=&Datum=1446332400&anliegen%5B%5D=120703&dienstleister%5B%5D=122210&dienstleister%5B%5D=122217&dienstleister%5B%5D=122219&dienstleister%5B%5D=122227&dienstleister%5B%5D=122231&dienstleister%5B%5D=122238&dienstleister%5B%5D=122243&dienstleister%5B%5D=122252&dienstleister%5B%5D=122260&dienstleister%5B%5D=122262&dienstleister%5B%5D=122254&dienstleister%5B%5D=122271&dienstleister%5B%5D=122273&dienstleister%5B%5D=122277&dienstleister%5B%5D=122280&dienstleister%5B%5D=122282&dienstleister%5B%5D=122284&dienstleister%5B%5D=122291&dienstleister%5B%5D=122285&dienstleister%5B%5D=122286&dienstleister%5B%5D=122296&dienstleister%5B%5D=150230&dienstleister%5B%5D=122301&dienstleister%5B%5D=122297&dienstleister%5B%5D=122294&dienstleister%5B%5D=122312&dienstleister%5B%5D=122314&dienstleister%5B%5D=122304&dienstleister%5B%5D=122311&dienstleister%5B%5D=122309&dienstleister%5B%5D=317869&dienstleister%5B%5D=324433&dienstleister%5B%5D=325341&dienstleister%5B%5D=324434&dienstleister%5B%5D=324435&dienstleister%5B%5D=122281&dienstleister%5B%5D=324414&dienstleister%5B%5D=122283&dienstleister%5B%5D=122279&dienstleister%5B%5D=122276&dienstleister%5B%5D=122274&dienstleister%5B%5D=122267&dienstleister%5B%5D=122246&dienstleister%5B%5D=122251&dienstleister%5B%5D=122257&dienstleister%5B%5D=122208&dienstleister%5B%5D=122226&herkunft=/terminvereinbarung/%22")
+ url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1448924400&anliegen[]=120703&dienstleister[]=122210&dienstleister[]=122217&dienstleister[]=122219&dienstleister[]=122227&dienstleister[]=122231&dienstleister[]=122238&dienstleister[]=122243&dienstleister[]=122252&dienstleister[]=122260&dienstleister[]=122262&dienstleister[]=122254&dienstleister[]=122271&dienstleister[]=122273&dienstleister[]=122277&dienstleister[]=122280&dienstleister[]=122282&dienstleister[]=122284&dienstleister[]=122291&dienstleister[]=122285&dienstleister[]=122286&dienstleister[]=122296&dienstleister[]=150230&dienstleister[]=122301&dienstleister[]=122297&dienstleister[]=122294&dienstleister[]=122312&dienstleister[]=122314&dienstleister[]=122304&dienstleister[]=122311&dienstleister[]=122309&dienstleister[]=317869&dienstleister[]=324433&dienstleister[]=325341&dienstleister[]=324434&dienstleister[]=324435&dienstleister[]=122281&dienstleister[]=324414&dienstleister[]=122283&dienstleister[]=122279&dienstleister[]=122276&dienstleister[]=122274&dienstleister[]=122267&dienstleister[]=122246&dienstleister[]=122251&dienstleister[]=122257&dienstleister[]=122208&dienstleister[]=122226&herkunft=/terminvereinbarung/")
+
+ for _, uri := range url {
+ for _, t := range ScrapeHtml(uri) {
+ T.Termin = append(T.Termin, t)
+ }
+ }
+
+ if T.Termin != nil {
+
+ output, err := json.Marshal(T)
+ if err != nil {
+ log.Fatal(err)
+ }
+
+ fmt.Println(string(output))
+ }
+
+}