Sentry vai Datadog? Virhemäärä ei vielä paljasta koko laskua

Sentry on luonteva lähtökohta, kun kehitystiimi hankkii työkalun ennen kaikkea sovellusvirheiden selvittämiseen. Datadog voi olla edullisempi lisävalinta tiimille, jolla on jo APM tai RUM käytössä: Datadogin hinnaston mukaan niiden kautta kerättyjen virheiden Error Tracking sisältyy kyseisiin tuotteisiin. Erillisinä kerätyt virheet laskutetaan omalla mittarillaan.

Pelkkien virheiden aloitushinnat ovat lähellä toisiaan, mutta jäljet, käyttäjäistunnot, tallenteet ja lokit muuttavat kokonaiskulua. Dash0:n vertailu kuvaa Sentryn vahvuudeksi kehittäjän virhetyön ja Datadogin vahvuudeksi laajemman telemetrian. Sen ilmoittamaan Sentry Team -paketin 26 dollarin kuukausihintaan vuosilaskutuksella sisältyy 50 000 virhettä, viisi miljoonaa spania ja 50 istuntotallennetta kuukaudessa.

Mistä kuukausilasku muodostuu?

Datadogissa ratkaiseva raja kulkee virheen keräystavassa. APM-jäljessä tai RUM-istunnossa saapuva virhe ei kasvata erillisen Error Trackingin virhevolyymia. Sen sijaan APM-jäljen ulkopuolelta lähetetyt taustajärjestelmän virheet, RUM-istunnon ulkopuoliset selainvirheet ja ehdot täyttävät lokiperäiset virheet kuuluvat erilliseen mittariin. Lokiperäisten virheiden seuranta edellyttää myös lokituotetta ja indeksointia.

Datadogin vuosilaskutuksen hinnastossa ensimmäiset 50 000 erillistä virhettä maksavat 25 dollaria kuukaudessa. RUM Measure maksaa 0,15 dollaria tuhatta kerättyä istuntoa kohti, RUM Investigate 3 dollaria tuhatta säilytettyä istuntoa kohti ja Session Replay 2,50 dollaria tuhatta tallennettua istuntoa kohti. Lokien vastaanotto maksaa 0,10 dollaria gigatavulta, ja miljoonan lokitapahtuman indeksointi 15 päiväksi maksaa 1,70 dollaria. Samalta hinnastolta löytyy 1,70 dollarin hinta miljoonalle ylimääräiselle, 15 päiväksi indeksoidulle APM-spanille.

APM:n isäntähinta on eri mittari kuin virheiden tai spanien määrä. Erikseen ostettu APM maksaa Datadogin hinnaston mukaan 36 dollaria isännältä kuukaudessa vuosilaskutuksella. Isäntähintaan sisältyy jälkidatan vastaanotto- ja indeksointikiintiö; niiden ylittäminen voi tuoda lisäkuluja. RUM:ssa taas kaikkien istuntojen mittaaminen ja valittujen istuntojen säilyttäminen tutkintaa varten ovat eri veloituksia. Siksi pelkkä RUM Measure -hinta ei kuvaa sellaisen tiimin laskua, joka haluaa säilyttää virheeseen liittyvän istunnon tiedot.

Sentryssä Team-paketin hintaan kuuluu eri tietolajien kiintiöitä. Sentryn tukiohje erittelee Team-paketin 50 000 virheen, viiden miljoonan spanin, 50 istuntotallenteen ja viiden gigatavun lokikiintiöt sekä selittää lisäkäytön erillisen budjetin. Tukiohje käsittelee vanhojen tilausten siirtymistä, joten yksittäisen nykytilauksen ehdot on erotettava tässä käytetyistä julkisista listahinnoista. Sentryn lokihinnoittelun mukaan viisi ensimmäistä gigatavua sisältyy pakettiin ja ylimenevä käyttö maksaa 0,50 dollaria gigatavulta.

Kolme laskelmaa samalla virhekuormalla

Seuraavat laskelmat ovat ehdollisia esimerkkejä, eivät havaittuja asiakaslaskuja. Kaikissa syntyy 40 000 seurattavaa sovellusvirhettä kuukaudessa. Summat ovat julkaistujen dollarimääräisten vuosilaskutuksen listahintojen kuukausiosuuksia; veroja, sopimusalennuksia, vähimmäisostoja ja erikseen mainitsemattomia tuotteita ei sisällytetä. Laskelma kertoo myös, mitä dataa kustakin vaihtoehdosta ostetaan.

Pelkkä virheseuranta

Ensimmäisessä tapauksessa kaikki 40 000 virhettä lähetetään erilliseen virheseurantaan. APM-jälkiä, RUM-istuntoja, istuntotallenteita ja lokeja ei kerätä. Datadogin Error Tracking maksaa oletuksella 25 dollaria kuukaudessa. Sentry Teamissa määrä jää paketin virhekiintiöön, joten kuukausiosuus on 26 dollaria. Ero on yksi dollari määritellyllä kuormalla; se ei kerro, kumpi virheiden ryhmittely ja käsittely sopii tiimin työhön paremmin.

Tämä on rajattu vertailu. Sentryn maksuton Developer-paketti palvelee yhden käyttäjän tarpeita eri kiintiöllä, kun taas laskelmassa vertaillaan maksullista Team-pakettia. Jos tuotantovirheitä tulee kiintiötä enemmän tai niiden tutkimiseen tarvitaan jälkiä, ensimmäisen tapauksen hintoja ei voi käyttää sellaisenaan. Virheiden lukumäärä kertoo silloin vain yhden laskutusmittarin.

Datadog APM ja RUM ovat jo käytössä

Toisessa tapauksessa tiimi maksaa jo kahdesta erikseen ostetusta APM-isännästä sekä 100 000 RUM Measure -istunnosta kuukaudessa. Se säilyttää lisäksi 1 000 valittua istuntoa RUM Investigatessa. Oletuksena kaikki 40 000 seurattavaa virhettä saapuvat APM-jäljistä eikä erillisiä virheitä kerätä. APM:n osuus on 2 × 36 eli 72 dollaria, RUM Measure maksaa 100 × 0,15 eli 15 dollaria ja RUM Investigate 3 dollaria. Lähtölasku on yhteensä 90 dollaria kuukaudessa.

Näiden APM-virheiden Error Tracking ei lisää esimerkin laskuun erillistä virhemaksua. Jos tiimi ottaa Sentry Teamin rinnalle samoja virheitä varten, yhteinen kuukausiosuus nousee 116 dollariin ennen muuta Sentry-käyttöä. Lisätyökalu voi silti olla perusteltu, jos sen työnkulku on kehittäjille hyödyllinen. Päätös koskee silloin 26 dollarin lisäkulua ja toista virheiden käsittelypaikkaa, ei erillisen Datadog-virhemaksun korvaamista.

Virheiden lisäksi jäljet, tallenteet ja lokit

Kolmannessa tapauksessa kuorma sisältää 40 000 virhettä, neljä miljoonaa spania, 40 istuntotallennetta ja 10 gigatavua lokeja kuukaudessa. Sentry Teamissa virheet, spanit ja tallenteet jäävät mainittuihin kiintiöihin. Lokit ylittävät sisältyvän määrän viidellä gigatavulla, joten lisäkäyttö on 5 × 0,50 eli 2,50 dollaria. Laskelman Sentry-osuus on näin 28,50 dollaria kuukaudessa.

Datadogin puolella pidetään toisen tapauksen kaksi APM-isäntää, 100 000 RUM Measure -istuntoa ja 1 000 RUM Investigatessa säilytettyä istuntoa. Lisäksi oletetaan, että kaikki neljä miljoonaa spania indeksoidaan 15 päiväksi, 40 istunnosta tehdään tallenne ja 10 gigatavun lokikuormasta indeksoidaan miljoona tapahtumaa 15 päiväksi. Jälkidatan vastaanotto pysyy oletuksen mukaan isäntien kiintiössä, ja kaikki seurattavat virheet tulevat APM:n kautta.

Datadogin 90 dollarin lähtölaskuun lisätään 0,10 dollaria istuntotallenteista, 3,40 dollaria kahdesta miljoonasta isäntäkiintiön ylittävästä indeksoidusta spanista, dollari lokien vastaanotosta ja 1,70 dollaria lokien indeksoinnista. Yhteensä saadaan 96,20 dollaria kuukaudessa. Ero Sentryn 28,50 dollariin sisältää Datadogin APM- ja RUM-tuotteiden kustannuksen: summat kuvaavat määriteltyjä tuotekokonaisuuksia, eivät samanarvoisia ominaisuuksia tai samoja tietojen säilytysehtoja.

Miksi lokit ja keräystapa muuttavat vertailua?

Lokien gigatavumäärä ei yksin riitä Datadogin kulun laskemiseen. Vastaanotettu datamäärä ja indeksoitujen tapahtumien määrä ovat eri mittareita, joten kaksi yhtä suurta lokivirtaa voivat maksaa eri summan, jos indeksoitavien tapahtumien lukumäärä poikkeaa. Lokista tunnistettu virhe voi myös kasvattaa erillistä Error Tracking -volyymia. Siksi lokien kerääminen ei tarkoita, että niiden virheiden seuranta sisältyisi jo maksettuun APM:ään.

Sentryn esimerkissä taas juuri lokit nostavat laskun paketin aloitushinnan yli. Jos neljän miljoonan spanin sijasta kerättäisiin enemmän jäljitystietoa tai tallenteita syntyisi yli paketin kiintiön, lisäkäyttö pitäisi laskea näille tietolajeille erikseen. Sama sovellus voi siis tuottaa saman määrän virheitä mutta eri laskun sen mukaan, kuinka paljon tietoa yksittäisen virheen tutkimiseen säilytetään.

Mitä tiimi saa virheen ympärille?

Sentryn työnkulku lähtee sovelluksen ongelmasta: samankaltaiset virhetapahtumat ryhmitellään käsiteltäväksi asiaksi, jonka yhteydessä kehittäjä voi tutkia jälkeä, julkaisua ja saatavilla olevaa istuntotallennetta. Kiintiöiden näkökulmasta tällä on käytännön seuraus. Laajempi jäljitys ja tallenteiden keruu voivat parantaa virheen taustatietoa, mutta kuluttavat myös eri käyttöluokkia kuin itse virhetapahtumat.

Datadog ryhmittelee sekin virheitä käsiteltäviksi asioiksi. Sen etu korostuu, kun APM-jäljet, RUM-istunnot ja muu valvontatieto ovat jo samassa palvelussa: virhettä voidaan tarkastella suorituskyvyn ja käyttäjäkokemuksen yhteydessä. Tiimin kannattaa silti erottaa mittaamiseen kerätyt RUM-istunnot niistä, jotka se säilyttää myöhempää tutkimista varten. Muuten halpa istuntokohtainen mittaushinta näyttää kattavan yksityiskohtaisen tutkinnan, josta laskutetaan erikseen.

Kumpi sopii tähän hankintaan?

Jos hankinnan päätehtävä on kehittäjien sovellusvirheiden selvittäminen, Sentry Team tarjoaa määritellyssä pelkkien virheiden esimerkissä lähes saman aloitushinnan kuin Datadogin erillinen Error Tracking. Jälkien, tallenteiden ja lokien tarve ratkaisee, pysyykö tämä asetelma voimassa. Jos tiimi jo maksaa Datadog APM:stä ja RUM:sta ja virheet tulevat niiden kautta, virheseurannan lisämaksu voi jäädä nollaan. Kahden työkalun käyttöä arvioitaessa oleellinen lisäkulu on silloin Sentryn tilaus ja kysymys siitä, helpottaako erillinen kehittäjän työnkulku virheiden korjaamista riittävästi.

Lue myös:

• Intercom vai Zendesk? Tiimin koko muuttaa tekoälytuen voittajan
• Vercel vai Netlify? Kolmas tiimin jäsen muuttaa saman 20 dollarin hinnan
• Grafana Cloud vai Datadog? Kardinaliteetti voi kääntää halvan laskun