Samstag, 1. August 2015
Beschleunigung durch Einsatz eines CDN
dirk olbertz, 21:18h
Seit etwa einer halben Stunde werden alle Bilder über cdn.blogger.de ausgeliefert. CDN steht für "Content Delivery Network" und ist ein Sammelbegriff dafür, dass die Daten irgendwo "in der Cloud" liegen und von dort aus ausgeliefert werden.
Ich habe mich für Amazon CloudFront entschieden, ich muss dabei nichts manuell kopieren, sondern einfach nur dafür sorgen, dass CloudFront weiß, dass alles, was über cdn.blogger.de an Bilder ausgeliefert wird, bitte von CloudFront zwischengespeichert wird.
Das sieht also so aus:
Falls ihr die Image-Macros benutzt, müsst ihr gar nichts tun, die Bilder werden jetzt automatisch über das CDN ausgeliefert. Habt ihr aber irgendwo ein Bild mit seiner kompletten URL in HTML eingetragen, so könnt ihr statt <blogalias>>.blogger.de/static/antville/<blogalias>/images/xyz.jpg vorne statt eures Blogalias einfach "cdn" eintragen. Dann wird die Grafik ebenfalls vom CDN ausgeliefert.
Falls es irgendwo Probleme geben sollte, gebt mir bitte Bescheid!
Ich habe mich für Amazon CloudFront entschieden, ich muss dabei nichts manuell kopieren, sondern einfach nur dafür sorgen, dass CloudFront weiß, dass alles, was über cdn.blogger.de an Bilder ausgeliefert wird, bitte von CloudFront zwischengespeichert wird.
Das sieht also so aus:
- Besucher kommt auf euer Blog.
- Darin sind Bilder enthalten, die von cdn.blogger.de geladen werden.
- Hat CloudFront das Bild schon, wird es direkt zurückgegeben. Hat CloudFront es noch nicht (oder nicht mehr), wird es von Blogger.de geladen und für 24 Stunden bei CloudFront gespeichert.
Falls ihr die Image-Macros benutzt, müsst ihr gar nichts tun, die Bilder werden jetzt automatisch über das CDN ausgeliefert. Habt ihr aber irgendwo ein Bild mit seiner kompletten URL in HTML eingetragen, so könnt ihr statt <blogalias>>.blogger.de/static/antville/<blogalias>/images/xyz.jpg vorne statt eures Blogalias einfach "cdn" eintragen. Dann wird die Grafik ebenfalls vom CDN ausgeliefert.
Falls es irgendwo Probleme geben sollte, gebt mir bitte Bescheid!
... comment
kristof,
Sonntag, 2. August 2015, 01:28
Hm.
Meine Bilder liegen also irgendwo in der Cloud. Muss ich mal nachdenken, ob ich das gut finden kann.
... link
dirk olbertz,
Sonntag, 2. August 2015, 02:01
Die liegen ja eh schon bei diversen Suchmaschinen und Proxies von Internetanbietern.
Insofern ändert sich eigentlich nicht wirklich etwas. Und die Bilder werden dort ja nicht wirklich hochgeladen, sondern zwischengespeichert. Im Moment werden sie automatisch nach 24j wieder gelöscht - bis ein anderer User sie wieder aufruft. Ich werde zwar mit dieser Haltezeit auch noch etwas experimentieren um zu sehen, ob sich dadurch die Last des Blogger.de-Servers und die Kosten für das CDN verändern, aber ich habe eigentlich nicht vor, die Haltezeit auf ein Jahr oder so auszudehnen.
Insofern ändert sich eigentlich nicht wirklich etwas. Und die Bilder werden dort ja nicht wirklich hochgeladen, sondern zwischengespeichert. Im Moment werden sie automatisch nach 24j wieder gelöscht - bis ein anderer User sie wieder aufruft. Ich werde zwar mit dieser Haltezeit auch noch etwas experimentieren um zu sehen, ob sich dadurch die Last des Blogger.de-Servers und die Kosten für das CDN verändern, aber ich habe eigentlich nicht vor, die Haltezeit auf ein Jahr oder so auszudehnen.
... link
nnier,
Sonntag, 2. August 2015, 03:20
Cloud ist was Böses, wenn es um private Daten geht, die man - statt auf dem eigenen Rechner - irgendwo "in der Cloud" speichert, wo sie natürlich nicht sicher sein müssen. Bei dem neuen Mechanismus hier geht es aber um eine vorrangig technische Frage: Die Bilder sind schon immer öffentlich von jedem abrufbar und sollen es auch sein. Ob sie nun von Server A oder B ausgeliefert werden, ist egal. Übrigens werden ähnliche Mechanismen quer durchs Internet genutzt, aus genau den von Dirk genannten Gründen: Entlastung der eigenen Server und Geschwindigkeitsvorteil für die Besucher. Ich sehe hier keinen Grund zur Besorgnis.
... link
dirk olbertz,
Sonntag, 2. August 2015, 11:04
Um auch noch mal ein paar Zahlen zu nennen, damit man weiß, um was für Größenordnungen es geht: obwohl ich die Umstellung gestern erst am späten Nachmittag gemacht habe und der Traffic am Wochenende sowieso deutlich geringer ist, wurden knapp 45.000 Grafiken (ca 1,5 GB) über cdn.blogger.de ausgeliefert. Davon konnten 17.000 (oder 37%) direkt von CloudFront beantwortet werden. Das sind also 17.000 Anfragen, die der Server nicht beantworten musste. Für heute sieht das Verhältnis noch besser aus: bislang konnten 45% der Anfragen auf cdn.blogger.de direkt von CloudFront beantwortet werden. Verlängere ich die Haltezeit von 24h nach oben, sollte dieser Wert weiter steigen.
... link
kristof,
Sonntag, 2. August 2015, 11:31
Ihr habt vermutlich recht. Es ist eher so ein Wehret den Anfängen-Gefühl, das mit ein wenig Bauchschmerzen macht.
... link
pito,
Dienstag, 4. August 2015, 01:41
Öffentlich ist öffentlich. Weltöffentlich. Rund um die Uhr. Auch Inhalte die auf blogger.de gelöscht wurden, können unter Umständen anderswo im Netz weiterleben, im Chache von Suchmaschinen, im Speicher von Datensammlern oder in der Waybackmachine
... link
kristof,
Dienstag, 4. August 2015, 15:21
Das ist nicht mein Punkt. cdn.blogger.de geht direkt nach Seattle und nicht zu Hetzner. Das ist nicht unbedingt, was ich erwarte, wenn ich Seiten von blogger.de besuche.
Wir haben hier einen "Man in the middle", der mitliest und manipulieren kann. (Wie das mit Cookies ist, weiss ich nicht recht.)
Wir haben hier einen "Man in the middle", der mitliest und manipulieren kann. (Wie das mit Cookies ist, weiss ich nicht recht.)
... link
dirk olbertz,
Dienstag, 4. August 2015, 17:58
Du hast aber jetzt auch schon jede Menge "men in the middle". Jeder größere Internetprovider hat eigene Proxies, über die die Inhalte gecached werden. Das ist nur bei SSL-Verbindungen nicht möglich.
Und falls es Dich beruhigt: wenn Du cdn.blogger.de aus Deutschland aufrufst, sollte der Zugriff direkt nach Frankfurt gehen. Das ist dann zwar immer noch Amazon, aber nicht Seattle.
Zum Konzept von CloudFront gehört es, dass die Besucher immer vom nächstgelegenen Server bedient werden.
Und falls es Dich beruhigt: wenn Du cdn.blogger.de aus Deutschland aufrufst, sollte der Zugriff direkt nach Frankfurt gehen. Das ist dann zwar immer noch Amazon, aber nicht Seattle.
Zum Konzept von CloudFront gehört es, dass die Besucher immer vom nächstgelegenen Server bedient werden.
... link
heim_weh,
Montag, 12. Oktober 2015, 12:08
Auch auf die Gefahr hin, mich unbeliebt zu machen: das hier ist Internet. Alles, was auf keinen Fall in die "allgemeine Öffentlichkeit" gehört, hat im Internet nichts zu suchen. Wer sich sorgt, dass seine Inhalte in die falschen Hände geraten könnte, sollte diese Inhalte gar nicht erst ins Internet bringen. Bekannterweise gibt es im Internet keine Sicherheit und demzufolge auch keine Sicherheitsgarantien.
Und ich glaube auch nicht, dass hier jemand nichts anderes im Internet macht, keine anderen Seiten besucht, Mails schreibt, Foren aufsucht, Nachrichten liest, sondern tatsächlich nur Blogger.de aufsucht, so dass er/sie plötzlich erschrocken den Kopf hebt. :-)
Und ich glaube auch nicht, dass hier jemand nichts anderes im Internet macht, keine anderen Seiten besucht, Mails schreibt, Foren aufsucht, Nachrichten liest, sondern tatsächlich nur Blogger.de aufsucht, so dass er/sie plötzlich erschrocken den Kopf hebt. :-)
... link
... comment
kristof,
Sonntag, 2. August 2015, 13:36
Hat das einen Grund, daß die Bilder ihne "http" angegeben werden?
Also: src="//cdn.blogger.de/..."
Also: src="//cdn.blogger.de/..."
... link
dirk olbertz,
Sonntag, 2. August 2015, 13:56
Bei dieser Notation wird der Inhalt so ausgegeben, wie die umgebende Seite. Wenn also blogger.de per https aufrufbar wäre, würde auch cdn.blogger.de per https aufgerufen.
Ich habe aktuell zwar noch keine Pläne, Blogger.de auf https umzustellen (auch wenn ich es gerne würde, es gibt aber zu viel dabei zu Beachten), wenn es dann aber mal der Fall sein sollte, würden die Bilder gleich schon korrekt abgeholt.
Ich habe aktuell zwar noch keine Pläne, Blogger.de auf https umzustellen (auch wenn ich es gerne würde, es gibt aber zu viel dabei zu Beachten), wenn es dann aber mal der Fall sein sollte, würden die Bilder gleich schon korrekt abgeholt.
... link
... comment
