Audyt aplikacji: co grozi awarią i co poprawić najpierw
Przez pięć dni przechodzimy aplikację zbudowaną w Claude Code albo w Codexie, razem z tym, na czym stoi: danymi klientów, dostępami, kopiami i rachunkami. Raport ustawia poprawki w kolejności, a przy każdej stoi, ile zajmie i kto ją zrobi.
Raport z audytuPanel zamówień · dział operacjiGotowy · pt 9.10
Najpierw, w tym tygodniurazem 7 godzin
1
Dane klientów trafiają do dziennika zdarzeń
NIP-y i telefony leżą w logach, których nikt nie czyści.
godzinaWy, z instrukcją
2
Hasło do poczty wpisane w kod
Kto zobaczy kod, wyśle maile w imieniu firmy.
2 godzinyWy, z instrukcją
3
Nikt nie sprawdził powrotu z kopii
Kopia powstaje co noc. Nie wiadomo, czy da się z niej wrócić.
pół dniarazem przy ekranie
W pierwszym miesiącurazem 20 godzin
4
Eksport stanie przy większym ruchu
Dziś 3 000 zamówień. Przy 40 000 panel stanie dla wszystkich.
dzieńWy, z instrukcją
5
Ścieżka zamówienia nie ma żadnego testu
Błąd w zamówieniu zgłosi dopiero klient.
półtora dniarazem, potem Wy
Może poczekaćrazem 9 godzin
6
Płatne usługi zostały po próbach
Dwie usługi z nieudanych prób dalej są na rachunku.
godzinaWy, z instrukcją
7
Projekt od zera uruchamia tylko autor
Bez niego nikt nie postawi aplikacji na nowo.
dwa popołudniarazem przy ekranie
4 z 7 zrobicie sami, z instrukcjąMarcel Bilski · prowadził audyt
140+ firm zmienia z nami sposób działania
Czym jest audyt aplikacji?
Audyt aplikacji to przegląd aplikacji zbudowanej z AI, zakończony raportem, który ustawia poprawki w kolejności: najpierw to, co grozi awarią albo wyciekiem danych klientów. Przy każdej pozycji stoi, ile zajmie i kto ją zrobi.
Co przechodzimy podczas audytu
01Klucze i dostępy
Co oglądamy
Gdzie leżą hasła i klucze do poczty i bazy danych oraz kto ma konto z prawem do wszystkiego.
Co najczęściej trafia do raportu
Hasła wpisane w kod, bo na starcie tak było najszybciej. Przeniesienie ich w bezpieczne miejsce to zwykle dwie godziny roboty.
02Dane klientów
Co oglądamy
Jakie dane osobowe zbiera aplikacja, gdzie je zapisuje i jak długo trzyma.
Co najczęściej trafia do raportu
Dane trafiają do dziennika zdarzeń, a nikt nie ustalił, jak długo je trzymać. To drugie jest decyzją po Waszej stronie, kod zmienia się po niej.
03Kopie i powrót
Co oglądamy
Czy kopia zapasowa powstaje i czy da się z niej wrócić do działającej aplikacji.
Co najczęściej trafia do raportu
Kopia istnieje, ale nikt nigdy nie próbował z niej wrócić. Próbne odtworzenie robimy razem przy jednym ekranie.
04Ścieżki z pieniędzmi
Co oglądamy
Zamówienia i płatności, czyli miejsca, w których błąd kosztuje od razu.
Co najczęściej trafia do raportu
Ścieżka zamówienia bez żadnego testu. Awarię zgłasza klient, czasem po dwóch dniach.
05Ruch i wydajność
Co oglądamy
Co stanie się z aplikacją, kiedy danych będzie dziesięć razy więcej.
Co najczęściej trafia do raportu
Eksport pobiera wszystkie zamówienia naraz. Przy 3 000 działa, przy 40 000 panel stanie dla wszystkich.
06Uruchomienie i rachunki
Co oglądamy
Czy ktoś poza autorem postawi projekt od zera i za co płacicie co miesiąc.
Co najczęściej trafia do raportu
Projekt uruchamia tylko autor, a po nieudanych próbach nikt nie wyłącza usług, za które płacicie.
07Praca z agentami w dziale IT
Co oglądamy
Historia zadań, konfiguracje agentów i to, jak zespół opisuje pracę.
Co najczęściej trafia do raportu
Reguły domeny, których nikt nie zapisał, i zadania krojone na porcje wielkości człowieka. Pierwsze podejście agenta wraca wtedy do przeróbki.
Raport zaczyna się od poprawki, którą zrobicie jeszcze w tym samym tygodniu
Najgroźniejsze rzeczy w aplikacji zbudowanej z AI zwykle poprawia się w kilka godzin. Trudniej je znaleźć niż poprawić
Trzy z siedmiu pozycji raportu widać w kodzie
Aplikacja robi, co ma robić, więc nikt nie zagląda do środka. Model pisze dokładnie to, o co go poproszono: jeśli nikt nie poprosił o porcje, eksport pobierze wszystkie zamówienia naraz. Pozostałe cztery pozycje leżą poza kodem, na przykład w kopii zapasowej, z której nikt nigdy nie próbował wrócić.
Wydruk eksport.ts z uwagami z audytu
panel-zamowien / src / eksport.tsczytane w pn i wt
2Hasło do poczty zapisane w kodzie. Kto zobaczy kod, wyśle maile w imieniu firmy.
4Bierze wszystkie zamówienia naraz. Przy 3 000 działa, przy 40 000 panel stanie.
1Cała lista z NIP-ami i telefonami klientów ląduje w dzienniku zdarzeń.
Poza tym plikiem3nikt nie próbował wrócić z kopii5ścieżka zamówienia bez testu6płatne usługi po próbach7od zera uruchamia tylko autor
Kolejność ustala skutek, potem czas poprawki
Najpierw idzie to, co może kosztować dane klientów. W tej grupie zaczynamy od najkrótszych poprawek, więc pierwsze dwie zajmują razem trzy godziny. Wyłączenie płatnych usług po próbach też zajmuje godzinę, a i tak stoi na szóstym miejscu, bo grozi tylko wyższym rachunkiem.
Siedem pozycji raportu według skutku i czasu poprawki
Wyciek albo utrata danych klientówNajpierw, w tym tygodniurazem 7 godzinStaje praca działu albo zamówieniaW pierwszym miesiącurazem 20 godzinKosztuje albo spowalniaMoże poczekaćrazem 9 godzin
1Dane w dziennikudziennik2Hasło w kodziehasło3Powrót z kopiikopia4Eksporteksport5Test zamówieniatesty6Usługi po próbachusługi7Uruchamia tylko autorautor
Czas poprawki
godzinagodz.2 godziny2 godz.pół dniapół dniadzieńdzieńdwa dni2 dni
Raport, z którym zostajecie
Pierwsza strona mówi, w jakim stanie jest aplikacja. Każda pozycja ma własną stronę, napisaną tak, żeby poprawkę zrobiła osoba, która nie programuje.
Raport z audytu · Panel zamówień · 5–9 październikastr. 1 z 9
W skrócie
Panel zamówień można rozwijać dalej. Trzy rzeczy trzeba poprawić w tym tygodniu
Aplikacja robi to, czego potrzebuje dział operacji, i nie wymaga przepisania. Najpilniejsze są dane klientów: lista zamówień z NIP-ami trafia do dziennika zdarzeń, a hasło do poczty leży w kodzie. Obie poprawki zrobicie sami w trzy godziny, według instrukcji z pozycji 1 i 2.
Kopia zapasowa powstaje co noc, ale nikt nie próbował z niej wrócić. Próbne odtworzenie zrobimy razem przy jednym ekranie, to około pół dnia.
Eksport i ścieżka zamówienia wytrzymają dzisiejszy ruch. Warto je poprawić w pierwszym miesiącu, zanim zamówień przybędzie.
Marcel Bilskiprowadził audyt · 9 października
Spis poprawek
Najpierw, w tym tygodniu
1Dane klientów trafiają do dziennika zdarzeństr. 3
2Hasło do poczty wpisane w kodstr. 4
3Nikt nie sprawdził powrotu z kopiistr. 5
W pierwszym miesiącu
4Eksport stanie przy większym ruchustr. 6
5Ścieżka zamówienia nie ma żadnego testustr. 7
Może poczekać
6Płatne usługi zostały po próbachstr. 8
7Projekt od zera uruchamia tylko autorstr. 9
Raport z audytu · Panel zamówień · 5–9 październikastr. 2 z 9
Co przejrzeliśmy
10 obszarów, w tym dwa bez uwag
ObszarCo obejrzeliśmyW raporcie
Kod aplikacji64 pliki, około 9 400 wierszypoz.124
Dane klientów3 tabele z danymi osobowymi i dziennik zdarzeńpoz.1
Logowanie i konta użytkownikówhasła, role, wylogowanie po bezczynnościbez uwag
Dostępy do usługklucze i hasła do 4 usług, 5 kont na serwerzepoz.2
Kopie zapasowekopia co noc, trzymana 14 dnipoz.3
Ścieżka zamówieniaod złożenia do zmiany statusu i fakturypoz.5
Rucheksport i lista zamówień przy 40 000 rekordówpoz.4
Uruchomienie od zerapostawienie projektu na czystym komputerzepoz.7
Rachunki za usługifaktury z ostatnich trzech miesięcypoz.6
Bibliotekiwersje i znane lukibez uwag
Raport z audytu · Panel zamówień · 5–9 październikastr. 3 z 9
1Pozycja 1 z 7Najpierw, w tym tygodniu
Dane klientów trafiają do dziennika zdarzeń
eksport.ts, wiersz 17około godzinyWy, z instrukcją
Co zobaczyliśmy
Przy każdym eksporcie aplikacja zapisuje w dzienniku zdarzeń całą listę zamówień razem z danymi klientów, także NIP-y i telefony. Dziennika nikt nie czyści, a widzi go każdy, kto ma dostęp do serwera.
Co proponujemy
Niech do dziennika trafia tylko liczba zamówień w eksporcie. Wpisy, które już tam są, usuwacie raz, ręcznie.
Ile to zajmie
Około godziny, razem ze sprawdzeniem.
Czego nie ruszamy
Samego eksportu i pliku, z którego korzysta księgowość.
Do wklejenia w Claude CodeW pliku eksport.ts zmień zapis w dzienniku zdarzeń tak, żeby trafiała tam tylko liczba zamówień, bez danych klientów. Niczego innego w eksporcie nie zmieniaj.
Jak sprawdzić, że działa
Zróbcie eksport za ostatni tydzień i otwórzcie dziennik zdarzeń. Powinien być w nim jeden wpis z liczbą zamówień, bez nazw i numerów.
Żeby nie wróciło, dopiszcie do CLAUDE.md- Dane klientów nie trafiają do dziennika zdarzeń.
Pierwsza stronaW kilku zdaniach: czy aplikację da się rozwijać dalej i co trzeba zrobić w tym tygodniu. Obok spis poprawek w kolejności, z numerem strony.
Co przejrzeliśmyWszystko, co obejrzeliśmy, także to, co jest w porządku. Przy każdej rzeczy numer pozycji w raporcie.
Pozycja 1Każda pozycja w czterech częściach, z poleceniem do wklejenia w Claude Code i ze sposobem, żeby sprawdzić, czy poprawka działa.
Ten sam audyt dla zespołu bez działu IT i dla działu IT
W dziale IT patrzymy dodatkowo na to, gdzie praca agenta wraca do przeróbki. Dlatego audyt trwa dłużej, a każda pozycja raportu ma inne uzasadnienie.
Bez działu IT
Aplikację zbudował ktoś z operacji, finansów albo sprzedaży
Czas
5 dni
Od Was
Zaproszenie do projektu i do miejsca, gdzie leży kod. Cofacie je jednym kliknięciem.
Oglądamy
Kod i to, na czym stoi aplikacja: dane klientów, dostępy, kopie zapasowe i rachunki.
Pozycja raportu
W czterech częściach, z poleceniem do wklejenia w Claude Code.
Poprawki
Większość robicie sami, z instrukcją. Trudniejsze razem przy jednym ekranie.
Wycena
Po rozmowie, osobno od dalszej współpracy.
Przykładowa pozycja raportu
2Hasło do poczty wpisane w kod
2 godziny
Wy, z instrukcją
Z działem IT
Zespół inżynierów pracuje z agentami od kilku miesięcy
Czas
2 tygodnie
Od Was
Dostęp do odczytu repozytoriów i CI, historia zadań i pół godziny z każdym z leadów.
Oglądamy
To samo co obok, a do tego miejsca, w których pierwsze podejście agenta wraca do przeróbki.
Pozycja raportu
Z uzasadnieniem: ile czasu odzyskuje, ile kosztuje wdrożenie, kto ją u Was wprowadza i którą liczbę ma poruszyć. Część pozycji odradzamy, z powodem.
Poprawki
Wasz zespół, w swoim rytmie. Ten sam pomiar da się powtórzyć za kwartał, u Was albo z nami.
Wycena
Po rozmowie, osobno od dalszej współpracy.
Przykładowa pozycja raportu
1Agent nie zna reguł domeny zamówień
odzyskuje ok. 6 godzin tygodniowo
wdrożenie 2 dni
wprowadza lead modułu
„Bardzo dobrze zrozumieli nasze potrzeby i zaprojektowali scenariusz, który w pełni spełnił cele biznesowe. Otwartość i komunikacja to ich DNA.
Arkadiusz AndruchPrezes Zarządu, X2O
Na pierwszej rozmowie ustalamy, który przebieg audytu ma u Was sens i od czego zaczynamy. Bezpłatnie i bez zobowiązań, online albo telefonicznie.
Przeglądamy tak, jak sami budujemy, z zasadami sprawdzonymi na ponad dwustu wdrożeniach.
Typowy audyt kodu
Let’s automatewedług WiseStacka200+ wdrożeń
Co oglądamy
Kod przepuszczony przez narzędzie do skanowania.
Kod i wszystko, na czym stoi aplikacjaKopie zapasowe, dostępy, dane klientów i rachunki za usługi. W raporcie panelu zamówień 4 pozycje z 7 leżą poza kodem.
Raport
Lista wszystkich znalezisk z oceną według skali narzędzia.
Kolejność poprawekNajpierw to, co grozi danym klientów, potem pracy działu. W każdej grupie od najkrótszej poprawki.
Język
Pisany dla programisty.
Do przeczytania bez programistyKażda pozycja w czterech częściach: co zobaczyliśmy, co proponujemy, ile to zajmie i czego nie ruszamy.
Poprawki
Wykonawca audytu wycenia je u siebie.
Większość robicie samiZ instrukcją i poleceniem do wklejenia w Claude Code. Wycenę dalszej pracy dostajecie tylko na prośbę.
Kto przegląda
Osoba od bezpieczeństwa, która nie pracuje w Claude Code ani w Codexie.
Inżynier, który sam buduje z AIKtoś, kto w tym tygodniu sam wypuścił coś do ludzi w tym samym sposobie pracy.
Żeby nie wróciło
Raport kończy się na liście.
Zasada do Waszego repozytoriumPrzy pozycjach, które AI mogłoby powtórzyć, stoi zasada do dopisania w pliku, który czyta przy każdej zmianie.
WiseStack to nasz sposób budowania oprogramowania z AI: dwanaście decyzji podjętych raz i wnoszonych do każdego projektu. Cała metoda →
Po raporcie poprawiacie sami albo z nami
Raport jest Wasz i do niczego nie zobowiązuje. Wycenę dalszej pracy dostajecie tylko wtedy, gdy o nią poprosicie.
Sami, według raportu
Pozycje z dopiskiem „Wy, z instrukcją” mają opis krok po kroku i polecenie do wklejenia w Claude Code. W raporcie panelu zamówień to 4 pozycje z 7.
Pierwszy miesiąc zaczyna się od góry listy z raportu. Pozycje do zrobienia razem robimy przy jednym ekranie, a każda kolejna wersja aplikacji przechodzi przegląd według zasad zapisanych w Waszym repozytorium.
Raport kończy się listą poprawek, w której najwięcej jest takich do zrobienia samodzielnie, z instrukcją. Jeśli przy czymś naszym zdaniem warto pomóc, powiemy to i uzasadnimy. Wycenę dostaniecie tylko wtedy, gdy o nią poprosicie.
Każda pozycja ma cztery części: co zobaczyliśmy, co proponujemy, ile to zajmie i czego nie ruszamy. Do tego polecenie do wklejenia w Claude Code i sposób, żeby sprawdzić, czy poprawka działa. Pozycja, po której ktoś czuje się głupszy, jest źle napisaną pozycją — to jedyne kryterium, po którym oceniamy własną robotę.
Nie. Wystarczy podgląd do projektu i do miejsca, gdzie leży kod — w większości narzędzi to zaproszenie na adres e-mail, do cofnięcia jednym kliknięciem. W dziale IT dochodzi dostęp do odczytu CI i historii zadań. Umowę o poufności podpisujemy przed pierwszym dostępem.
Wyceniamy go po rozmowie, kiedy wiemy, jak duża jest aplikacja i na czym stoi. Audyt wyceniamy osobno od dalszej współpracy, żeby dało się po nim podziękować. Pierwsza rozmowa jest bezpłatna.
Przy każdej pozycji raportu stoi, kto ją zrobi. Większość zrobicie sami, z instrukcją. Trudniejsze rzeczy, jak próbne odtworzenie kopii, robimy razem przy jednym ekranie, a klawiatura zostaje u Waszych ludzi. Budowy produktu nie przejmujemy.
Od tego, żeby zobaczyć, co w firmie powstało. Na pierwszej rozmowie ustalamy, które narzędzie oglądamy najpierw, i dobieramy przebieg audytu do zespołu, który je rozwija.
Raport razem z instrukcjami i poleceniami do wklejenia. Kod, dostępy i decyzje zostają Wasze, niczego nie przejmujemy. Od dostawców narzędzi nie bierzemy prowizji.