package main import ( "encoding/json" "fmt" "log" "net/url" "strconv" "time" "github.com/PuerkitoBio/goquery" ) type T struct { Termin []Termin } type Termin struct { Tag []Tag Monat string Jahr int } type Tag struct { Tag string Link string Uhrzeit []string } func ScrapeHtml(url string) []Termin { doc, err := goquery.NewDocument(url) if err != nil { log.Fatal(err) } Termine := []Termin{} doc.Find("tbody").Each(func(count int, s *goquery.Selection) { Termin := Termin{} Termin.GetMonthAndYear(url, count) s.Find("td.buchbar").Each(func(j int, s *goquery.Selection) { T := Tag{} link, ok := s.Find(".tagesauswahl").Attr("href") T.Tag = s.Find(".tagesauswahl").Text() if !ok { fmt.Println("Nicht ok", ok, link) } T.Link = "https://service.berlin.de/terminvereinbarung/termin/" + link T.GetTime(T.Link) Termin.Tag = append(Termin.Tag, T) }) if Termin.Tag != nil { Termine = append(Termine, Termin) } }) return Termine } func (Termin *Termin) GetMonthAndYear(urlstring string, count int) { u, err := url.Parse(urlstring) if err != nil { log.Fatal(err) } p, err := url.ParseQuery(u.RawQuery) if err != nil { log.Fatal(err) } if len(p["Datum"]) > 0 { i, err := strconv.ParseInt(p["Datum"][0], 10, 64) if err != nil { log.Fatal(err) } tm := time.Unix(i, 0) year, month, _ := tm.Date() m_offset := time.Month(count) month = month + m_offset // Detect overflow if month > 12 { month = month - 12 } Termin.Monat = month.String() Termin.Jahr = year } } func (T *Tag) GetTime(url string) { if url == "" { return } doc, err := goquery.NewDocument(url) if err != nil { log.Fatal(err) } doc.Find("tbody").Each(func(i int, s *goquery.Selection) { s.Find("th.buchbar").Each(func(i int, q *goquery.Selection) { T.Uhrzeit = append(T.Uhrzeit, q.Text()) }) }) } func main() { T := T{} url := []string{} /* url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1446332400&anliegen[]=120703&dienstleister[]=122208&herkunft=1") url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1448924400&anliegen[]=120703&dienstleister[]=122208&herkunft=1") */ url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID&buergername=&absagecode=&Datum=1446332400&anliegen%5B%5D=120703&dienstleister%5B%5D=122210&dienstleister%5B%5D=122217&dienstleister%5B%5D=122219&dienstleister%5B%5D=122227&dienstleister%5B%5D=122231&dienstleister%5B%5D=122238&dienstleister%5B%5D=122243&dienstleister%5B%5D=122252&dienstleister%5B%5D=122260&dienstleister%5B%5D=122262&dienstleister%5B%5D=122254&dienstleister%5B%5D=122271&dienstleister%5B%5D=122273&dienstleister%5B%5D=122277&dienstleister%5B%5D=122280&dienstleister%5B%5D=122282&dienstleister%5B%5D=122284&dienstleister%5B%5D=122291&dienstleister%5B%5D=122285&dienstleister%5B%5D=122286&dienstleister%5B%5D=122296&dienstleister%5B%5D=150230&dienstleister%5B%5D=122301&dienstleister%5B%5D=122297&dienstleister%5B%5D=122294&dienstleister%5B%5D=122312&dienstleister%5B%5D=122314&dienstleister%5B%5D=122304&dienstleister%5B%5D=122311&dienstleister%5B%5D=122309&dienstleister%5B%5D=317869&dienstleister%5B%5D=324433&dienstleister%5B%5D=325341&dienstleister%5B%5D=324434&dienstleister%5B%5D=324435&dienstleister%5B%5D=122281&dienstleister%5B%5D=324414&dienstleister%5B%5D=122283&dienstleister%5B%5D=122279&dienstleister%5B%5D=122276&dienstleister%5B%5D=122274&dienstleister%5B%5D=122267&dienstleister%5B%5D=122246&dienstleister%5B%5D=122251&dienstleister%5B%5D=122257&dienstleister%5B%5D=122208&dienstleister%5B%5D=122226&herkunft=/terminvereinbarung/%22") url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1448924400&anliegen[]=120703&dienstleister[]=122210&dienstleister[]=122217&dienstleister[]=122219&dienstleister[]=122227&dienstleister[]=122231&dienstleister[]=122238&dienstleister[]=122243&dienstleister[]=122252&dienstleister[]=122260&dienstleister[]=122262&dienstleister[]=122254&dienstleister[]=122271&dienstleister[]=122273&dienstleister[]=122277&dienstleister[]=122280&dienstleister[]=122282&dienstleister[]=122284&dienstleister[]=122291&dienstleister[]=122285&dienstleister[]=122286&dienstleister[]=122296&dienstleister[]=150230&dienstleister[]=122301&dienstleister[]=122297&dienstleister[]=122294&dienstleister[]=122312&dienstleister[]=122314&dienstleister[]=122304&dienstleister[]=122311&dienstleister[]=122309&dienstleister[]=317869&dienstleister[]=324433&dienstleister[]=325341&dienstleister[]=324434&dienstleister[]=324435&dienstleister[]=122281&dienstleister[]=324414&dienstleister[]=122283&dienstleister[]=122279&dienstleister[]=122276&dienstleister[]=122274&dienstleister[]=122267&dienstleister[]=122246&dienstleister[]=122251&dienstleister[]=122257&dienstleister[]=122208&dienstleister[]=122226&herkunft=/terminvereinbarung/") for _, uri := range url { for _, t := range ScrapeHtml(uri) { T.Termin = append(T.Termin, t) } } if T.Termin != nil { output, err := json.Marshal(T) if err != nil { log.Fatal(err) } fmt.Println(string(output)) } }