1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
|
package main
import (
"encoding/json"
"fmt"
"log"
"net/url"
"strconv"
"time"
"github.com/PuerkitoBio/goquery"
)
type T struct {
Termin []Termin
}
type Termin struct {
Tag []Tag
Monat string
Jahr int
}
type Tag struct {
Tag string
Link string
Uhrzeit []string
}
func ScrapeHtml(url string) []Termin {
doc, err := goquery.NewDocument(url)
if err != nil {
log.Fatal(err)
}
Termine := []Termin{}
doc.Find("tbody").Each(func(count int, s *goquery.Selection) {
Termin := Termin{}
Termin.GetMonthAndYear(url, count)
s.Find("td.buchbar").Each(func(j int, s *goquery.Selection) {
T := Tag{}
link, ok := s.Find(".tagesauswahl").Attr("href")
T.Tag = s.Find(".tagesauswahl").Text()
if !ok {
fmt.Println("Nicht ok", ok, link)
}
T.Link = "https://service.berlin.de/terminvereinbarung/termin/" + link
T.GetTime(T.Link)
Termin.Tag = append(Termin.Tag, T)
})
if Termin.Tag != nil {
Termine = append(Termine, Termin)
}
})
return Termine
}
func (Termin *Termin) GetMonthAndYear(urlstring string, count int) {
u, err := url.Parse(urlstring)
if err != nil {
log.Fatal(err)
}
p, err := url.ParseQuery(u.RawQuery)
if err != nil {
log.Fatal(err)
}
if len(p["Datum"]) > 0 {
i, err := strconv.ParseInt(p["Datum"][0], 10, 64)
if err != nil {
log.Fatal(err)
}
tm := time.Unix(i, 0)
year, month, _ := tm.Date()
m_offset := time.Month(count)
month = month + m_offset
// Detect overflow
if month > 12 {
month = month - 12
}
Termin.Monat = month.String()
Termin.Jahr = year
}
}
func (T *Tag) GetTime(url string) {
if url == "" {
return
}
doc, err := goquery.NewDocument(url)
if err != nil {
log.Fatal(err)
}
doc.Find("tbody").Each(func(i int, s *goquery.Selection) {
s.Find("th.buchbar").Each(func(i int, q *goquery.Selection) {
T.Uhrzeit = append(T.Uhrzeit, q.Text())
})
})
}
func main() {
T := T{}
url := []string{}
/*
url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1446332400&anliegen[]=120703&dienstleister[]=122208&herkunft=1")
url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1448924400&anliegen[]=120703&dienstleister[]=122208&herkunft=1")
*/
url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID&buergername=&absagecode=&Datum=1446332400&anliegen%5B%5D=120703&dienstleister%5B%5D=122210&dienstleister%5B%5D=122217&dienstleister%5B%5D=122219&dienstleister%5B%5D=122227&dienstleister%5B%5D=122231&dienstleister%5B%5D=122238&dienstleister%5B%5D=122243&dienstleister%5B%5D=122252&dienstleister%5B%5D=122260&dienstleister%5B%5D=122262&dienstleister%5B%5D=122254&dienstleister%5B%5D=122271&dienstleister%5B%5D=122273&dienstleister%5B%5D=122277&dienstleister%5B%5D=122280&dienstleister%5B%5D=122282&dienstleister%5B%5D=122284&dienstleister%5B%5D=122291&dienstleister%5B%5D=122285&dienstleister%5B%5D=122286&dienstleister%5B%5D=122296&dienstleister%5B%5D=150230&dienstleister%5B%5D=122301&dienstleister%5B%5D=122297&dienstleister%5B%5D=122294&dienstleister%5B%5D=122312&dienstleister%5B%5D=122314&dienstleister%5B%5D=122304&dienstleister%5B%5D=122311&dienstleister%5B%5D=122309&dienstleister%5B%5D=317869&dienstleister%5B%5D=324433&dienstleister%5B%5D=325341&dienstleister%5B%5D=324434&dienstleister%5B%5D=324435&dienstleister%5B%5D=122281&dienstleister%5B%5D=324414&dienstleister%5B%5D=122283&dienstleister%5B%5D=122279&dienstleister%5B%5D=122276&dienstleister%5B%5D=122274&dienstleister%5B%5D=122267&dienstleister%5B%5D=122246&dienstleister%5B%5D=122251&dienstleister%5B%5D=122257&dienstleister%5B%5D=122208&dienstleister%5B%5D=122226&herkunft=/terminvereinbarung/%22")
url = append(url, "https://service.berlin.de/terminvereinbarung/termin/tag.php?id=&buergerID=&buergername=&absagecode=&Datum=1448924400&anliegen[]=120703&dienstleister[]=122210&dienstleister[]=122217&dienstleister[]=122219&dienstleister[]=122227&dienstleister[]=122231&dienstleister[]=122238&dienstleister[]=122243&dienstleister[]=122252&dienstleister[]=122260&dienstleister[]=122262&dienstleister[]=122254&dienstleister[]=122271&dienstleister[]=122273&dienstleister[]=122277&dienstleister[]=122280&dienstleister[]=122282&dienstleister[]=122284&dienstleister[]=122291&dienstleister[]=122285&dienstleister[]=122286&dienstleister[]=122296&dienstleister[]=150230&dienstleister[]=122301&dienstleister[]=122297&dienstleister[]=122294&dienstleister[]=122312&dienstleister[]=122314&dienstleister[]=122304&dienstleister[]=122311&dienstleister[]=122309&dienstleister[]=317869&dienstleister[]=324433&dienstleister[]=325341&dienstleister[]=324434&dienstleister[]=324435&dienstleister[]=122281&dienstleister[]=324414&dienstleister[]=122283&dienstleister[]=122279&dienstleister[]=122276&dienstleister[]=122274&dienstleister[]=122267&dienstleister[]=122246&dienstleister[]=122251&dienstleister[]=122257&dienstleister[]=122208&dienstleister[]=122226&herkunft=/terminvereinbarung/")
for _, uri := range url {
for _, t := range ScrapeHtml(uri) {
T.Termin = append(T.Termin, t)
}
}
if T.Termin != nil {
output, err := json.Marshal(T)
if err != nil {
log.Fatal(err)
}
fmt.Println(string(output))
}
}
|
