Differences

This shows you the differences between two versions of the page.

--- appcluster-hosting [2019/09/23 11:00] – [Logrotatie van applicatie logs] matthias
+++ appcluster-hosting [2026/05/27 14:01] (current) – external edit 127.0.0.1
@@ Line 1: / Line 1: @@
+====== Appcluster hosting bij NPO Hosting en Streaming ======
+Appcluster hosting bij NPO Hosting en Streaming is een vorm van
+managed hosting. Wij beheren de
+hardware, het OS, loadbalancers, webservers, applicatieservers en databases.
+De applicatie zelf (denk aan php, ruby, java of python code) wordt door u beheerd.
+We bieden twee types webhosting aan en een testomgeving:
+  * [[:omgevingen#shared_plus_hosting|Shared Plus Hosting]]
+  * [[:omgevingen#cell_block_hosting|Cell Block Hosting]]
+  * gratis((bij afname van een hosting pakket zit standaard ook een testomgeving))  [[:omgevingen#testomgeving|Testomgeving]]
+Prijzen kunnen opgevraagd worden via https://support.npohosting.nl of hosting@npo.nl.
+Wij richten ons op hosting van:
+  * Apache en Nginx
+  * PHP(-fpm), Ruby (Rails), Java (Tomcat), Python, NodeJS
+  * Mysql, Redis, Postgresql en couchDB databases
+Andere setups kunnen we vaak ook hosten, afgelopen jaren hebben wij waar nodig passend maatwerk geleverd.
+Het kan zijn dat deze vorm van managed hosting "te veel" voor uw
+doeleinden is, omdat u zelf dieper wilt kunnen ingrijpen in het OS,
+bijvoorbeeld door zelf makkelijk extra software te kunnen installeren.
+In dat geval is ons [[:chp]] misschien geschikter voor u.
+====== Quick Start ======
+Om ons platform (goed) te kunnen gebruiken is het belangrijk om van een aantal dingen op te hoogte te zijn.
+  * [[sterretje-cluster:cluster-hosting_filesystem-layout|De layout van het filesystem]]; waar kan ik alles vinden en waar plaats ik mijn site/applicatie?
+  * [[sterretje-cluster:appcluster-hosting_netwerkbeveiliging| De netwerkbeveiliging van ons platform en wat voor impact het op u heeft]]
+  * [[:appcluster-hosting#de_upload-sites-server| De upload-(sites) server, hoe deze werkt en hoe deze te gebruiken]]
+  * [[:schaalbare-website|Lees vooral onze tips voor een goed schaalbare website eens door]]
+  * [[:dns:authorative | Domeinnamen registreren]]
+  * [[:file-system-permissies | Filesystem permissies ]]
+Voor het aanleveren van bepaalde typen applicaties hebben wij de volgende checklists
+  * [[sterretje-cluster:appcluster-hosting_php| Het aanleveren van een PHP applicatie]]
+  * [[sterretje-cluster:appcluster-hosting_python| Het aanleveren van een Python applicatie]]
+  * [[sterretje-cluster:appcluster-hosting_ruby-on-rails| Het aanleveren van een Ruby on Rails applicatie]]
+  * [[sterretje-cluster:appcluster-hosting_aanleveren-van-java-applicatie| Het aanleveren van een Java applicatie]]
+  * [[sterretje-cluster:appcluster-hosting_wordpress|Het installeren van een Wordpress applicatie]]
+====== Standaard Software ======
+Alle omgevingen zijn zoveel mogelijk gebaseerd op open source software
+componenten: Linux, Apache, MySQL, PHP, Tomcat, Ruby, Rails, etcetera.
+Wij zijn namelijk overtuigd van de kracht van open source en bij NPO Hosting en Streaming is er de nodige kennis aanwezig van de gebruikte open source componenten.
+^ Component ^ Gebruikte software ^ Opmerkingen ^
+| OS | CentOS 8 stream, 64 bit | [[https://www.centos.org/|CentOS]] 8 Stream is compatible met Redhat Enterprise Linux 8 |
+| HA-Loadbalancer | Keepalived | Loadbalancing wordt verzorgd door Keepalived dmv Direct Routing.  We draaien de loadbalancers in een master-slave configuratie, waarin de slave het overneemt als de master er mee ophoudt.  Het loadbalancen gebeurt op basis van direct routing, wat betekent dat retour verkeer niet door de loadbalancers heen hoeft, waardoor deze grote aantallen verkeer kunnen verwerken. |
+| Statische webserver / front-Proxy | Apache-2.4 + mod_worker of Nginx | Deze front-proxies kunnen statische data (html, plaatjes, .css, .js etc.) snel en efficient uitserveren; vele malen sneller en efficienter dan een 'backend' applicatieserver. Daarnaast zorgen ze voor loadbalancing en failover tussen 2 of meer applicatieservers In geval van java sites kan de proxy ook caching verzorgen. Php, jsp en railsapplicaties worden geproxied naar een applicatieserver. |
+| Applicatieserver | Apache-2.4 + mod_prefork, php-fpm, passenger, tomcat | PHP kan zowel in apache onder mod_php als fastcgi draaien. Ruby en Python applicaties draaien onder Passenger en Java applicaties draaien in een tomcat container |
+| PHP | php(-fpm) | Voor PHP kunnen wij [[sterretje-cluster:appcluster-hosting_php-modules|deze]] modules leveren   |
+| Database | MySQL(MariaDB of Mysql) of Postgresql | Wij bieden alleen versies aan die updates ontvangen |
+| Mail | postfix | Mail [[mail:clusterservices#Uitgaande mail|versturen]] en [[mail:clusterservices#Inkomende mail|ontvangen]] kan via verschillende methoden. |
+===== Extra software in het appcluster =====
+In het appcluster is naast de gewone LAMP stack (en Nginx) ook  andere hosting mogelijk van bijvoorbeeld Java, Ruby on Rails en NodeJS. Daartoe zijn de volgende software componenten
+beschikbaar:
+^ Component ^ Versie ^ Opmerkingen ^
+| Java | openjdk-8 en -11 | Normaliter bieden we alleen de runtime environment (jre) aan. Op de upload servers is de volledige jdk beschikbaar |
+| Servlet container | tomcat-8.5 en -9 | |
+| [[https://rubyonrails.org/|Ruby on Rails]] | Ruby-2.7, Passenger-6, Rubygems  | Wij bieden verschillende versies van Ruby aan, per site is dit in te regelen. |
+| [[https://www.python.org/|Python]] | 3.x | |
+| [[https://nodejs.org/en/|Node.js]] | 12.x | |
+| ElasticSearch | 7.x | |
+| [[https://www.maxmind.com/en/geoip2-databases|Maxmind GeoIP location]] | zowel legacy als GeoIP2 | [[:maxmind-geoip|meer info]] |
+| Overig | - | Andere tools als ImageMagick, ffmpeg e.d. zijn op aanvraag beschikbaar |
+In overleg met NPO Hosting en Streaming kunnen eventueel extra ondersteunende pakketten geinstalleerd worden. De omgeving is op een andere manier ingericht dan een traditionele één-applicatie-per-(virtuele)serveromgeving. Bij ons neem je geen (virtuele) server af maar in feite een set resources, gekoppeld aan een setje software.
+De software heeft daarvoor een (kleine) aanpassing nodig om ervoor te zorgen dat je bijvoorbeeld meerdere Apache processen kan draaien op een server zonder dat deze elkaar in de weg zitten of de hele server kunnen claimen. Die processen noemen we dan instanties (meerder instanties van software X). Dit is vooral relevant voor de beheerders van NPO Hosting en Streaming, maar als websitebouwer betekend het:
+  * Je hebt een centrale upload-server voor je site, de juiste instanties lezen je code in en serveren het uit. Je dus logt niet direct in op de webserver.
+  * Wij hebben geen standaard package manager zoals yum of apt-get. Wij compileren zelf de software, met de nodige aanpassingen.
+  * We kunnen meerdere versies van dezelfde software draaien op dezelfde server. Het up- of downgraden kan met het omzetten van een snelkoppeling.
+  * High availability; de instanties kunnen we goed verdelen en snel verplaatsen over alle fysieke of virtuele servers.
+Een wat meer in-depth uitleg van de opbouw van de omgeving [[sterretje-cluster:cluster-hosting_opbouw-omgeving|clustering d.m.v. instanties]]
+====== De Upload-sites-server ======
+De upload-server is te bereiken vanaf upload-sites of upload-testsites voor de testomgeving. Dit is een server die verbonden is met de centrale storage en is bedoeld -zoals de naam laat zien- om sites en content daarvan te uploaden. Als ontwikkelaar heb je, als het goed is, een account voor upload-sites. Want het grote publiek heeft geen toegang tot dit systeem.
+De servers lezen alles vanaf de centrale storage in en schrijven daar ook hun logs in weg. Als ontwikkelaar kun je de upload-server hiervoor gebruiken:
+  * Het plaatsen/bijwerken van de files voor je site.
+  * Bekijken van [[:faq:index#logging|logs]]
+  * Via upoad-sites kun je een sql connectie leggen naar je database.
+  * Shell toegang((Let wel, dit is geen shell toegang tot de webservers zelf)) (afhankelijk of je een ftp of sftp account hebt). Bijvoorbeeld om een cron-job aan te maken of via de commandline dingen te kopieren, te verplaatsen etc.
+Om zelf (f)cron jobs te kunnen aanmaken hebben wij speciale [[:sterretje-cluster:shellservers|shellservers]] ingericht.
+===Sftp===
+Als NPO Hosting en Streaming hebben we een duidelijke voorkeur dat men gebruik maakt van SFTP (d.m.v. ssh-keys). FTP is een oud en onveilig protocol wat alle data, ook wachtwoorden onversleuteld verstuurd. Als je verbinding niet beveiligd is liggen die gegevens voor het oprapen.  Je kunt SFTP gebruiken met Filezilla of Transmit voor de Mac en tal van andere FTP clients.
+====== De Frontproxy-, Applicatie- en Database servers ======
+Al het webverkeer wordt afgehandeld door de frontproxies, deze zitten tussen de 'buitenwereld' en de applicatieservers. De belangrijkst reden hiervoor is performance en schaalbaarheid. Dit wordt vooral bereikt door de caching:
+alle requests die uit de cache geserveerd kunnen worden hoeven niet door
+een applicatieserver afgehandeld te worden, wat +/- een factor 100 (!)
+in performance kan schelen. (een frontproxy kan maximaal +/- 5000 hits/sec
+afhandelen, een tomcat applicatieserver +/- 50)
+Bij php hosting is er geen sprake van een aparte applicatieserver. Daar
+verzorgt de webserver zelf het afhandelen van php bestanden.
+Echter, het blijkt dat php serving ook verbetert als dat achter een
+proxy gestopt wordt. In die zin krijgt de php-enabled server dus een rol
+als een applicatieserver.
+Ondertussen is alle file access die hierbij nodig is via NFS naar de storage
+server (bijvoorbeeld voor een database server die z'n datafiles moet
+raadplegen). Om het NFS verkeer te minimaliseren zijn alle cluster nodes
+uitgerust met veel geheugen, zodat de meeste file access vanuit het geheugen
+gedaan kan worden en niet via NFS hoeft.
+====== Logrotatie van applicatie logs ======
+Dit kan gebruikt worden om logfiles die door webapplicaties weggeschreven worden dagelijks te laten roteren. Dit gebeurt op eenzelfde wijze als ook voor bijvoorbeeld Apache logfiles het geval is.
+Wanneer de logfiles op de juiste manier worden weggeschreven, zal de logrotatie automatisch uitgevoerd worden in de nacht.
+Wat is er voor nodig:
+  * Laat de logfiles wegschrijven onder /e/ap/site/log/ Het is belangrijk dat de logfiles zich niet in directories bevinden binnen de "log" directory.
+  * Het logfile moet door de webserver zijn aangemaakt. Dwz, de owner van het file moet een webserver instantie zijn. Files aangemaakt bijv. vanuit een cronjob hebben als owner een ssh account.
+Indien aan deze voorwaarden wordt voldaan, wordt er logrotatie uitgevoerd. In alle andere gevallen worden de logfiles met rust gelaten.
+Wanneer logfiles geroteerd worden, worden deze in zip-formaat geplaatst onder /e/ap/site/OLDlog/<jaar>/<maand>/naam-YYYYMMDD.gz. Gedurende 2 weken na rotatie zijn de logfiles beschikbaar via de upload server. Na die tijd zullen de logs bij ons gearchiveerd worden.
+Omdat een webapplicatie door meerdere webserver instanties wordt uitgeserveerd, wordt het aangeraden om per instantie een logfile weg te schrijven. Zo wordt voorkomen dat meerdere instanties in hetzelfde file op dezelfde tijd gaan schrijven. Binnen php kan daar bijvoorbeeld $_SERVER['INSTANCENAME'] voor gebruikt worden, om de naam van de instantie te achterhalen.
+Het analyseren van de log-files kan gemakkelijk via GoAccess. [[.:goaccess|Hier]] vind je de juiste settings om de logfiles te parsen.