Menu
O mnie Kontakt

Agent AI odbierający telefon i robiący notatki - jak go zbudować krok po kroku (film, 24m)

W filmie Maciek Guz przedstawia, jak stworzyć sekretarkę AI, korzystając z trzech głównych narzędzi: Eleven Labs, Twilio i Nayten. Na początku Maciek pokazuje demonstrację działania wirtualnej asystentki, co wprowadza widzów w tematykę filmiku. Sekretarka AI ma możliwość odbierania telefonów, przekazywania wiadomości oraz robienia notatek, co znacząco ułatwia zarządzanie spotkaniami i wiadomościami. Taka automatyzacja stała się nieoceniona, szczególnie w czasach, gdy dostępność czasowa wielu osób jest ograniczona przez pracę czy inne zobowiązania. Maciek dokładnie omawia, jak skonfigurować system, aby działał zgodnie z oczekiwaniami użytkownika.

Krok po kroku, Maciek guzik po guziku, tworzy konto na Eleven Labs i przeprowadza widzów przez proces konfiguracji narzędzia AI. Zaczyna od ustawienia konta, co ilustruje, w jaki sposób można dostosować agenta AI do własnych potrzeb. Oprócz podstawowych ustawień, Maciek omawia również, jak ważne jest zachowanie odpowiednich parametrów i konfiguracji, aby asystent prawidłowo funkcjonował i odpowiadał na wezwania. Dzięki pokazaniu tworzenia prostego agenta, Maciek umożliwia widzom łatwe naśladowanie jego działań.

W kolejnych etapach Maciek przeprowadza widzów przez proces integracji z Twilio, co pozwala agencie uzyskać numer telefonu i odbierać połączenia. Maciek bardzo szczegółowo opisuje, jak przeprowadzić tę integrację, co może być pomocne dla osób, które wcześniej nie miały styczności z tego typu technologią. Podkreśla również, że każdy krok jest kluczowy i może wpłynąć na ogólne wrażenie z korzystania z systemu AI.

Po osiągnięciu pełnej funkcjonalności agenta, Maciek prezentuje, w jaki sposób notatki będą przekazywane i gromadzone, korzystając z Nayten. Wyjaśniając ten proces, inspiruje widzów do stworzenia systemu, który będzie bardziej zaradny w zarządzaniu danymi i informacjami. Maciek nie tylko tworzy asystenta telefonicznego, ale także tłumaczy, jak takie narzędzie może pomóc w codziennym życiu, zwłaszcza w przypadku osób o ograniczonej dostępności lub tych, którzy muszą skutecznie zarządzać dużą ilością spotkań i kontaktów.

Na zakończenie Maciek podsumowuje koszty korzystania z narzędzi, takich jak Twilio i Eleven Labs, co jest istotną informacją dla osób planujących rozpoczęcie własnych projektów AI. Filmem zainteresowało się 897 użytkowników, którzy zdążyli wystawić 25 pozytywnych ocen w czasie pisania tego artykułu. Maciek zachęca widzów do komentowania oraz subskrypcji, co świadczy o jego zaangażowaniu w budowanie społeczności wokół tematyki sztucznej inteligencji. Stworzenie sekretarki AI nie tylko pokazuje zaawansowane umiejętności technologiczne, ale i otwiera nowe możliwości dla ludzi w zarządzaniu ich czasem i zadaniami.

Toggle timeline summary

  • 00:00 Wprowadzenie do budowy sekretarki AI krok po kroku z użyciem Eleven Labs, Twilio i Nayten.
  • 00:12 Prezentacja demo rozmowy z asystentem AI.
  • 00:23 Asystent AI skutecznie przekazuje wiadomość o przełożeniu spotkania.
  • 00:45 Potwierdzenie przesyłania wiadomości do kolegi.
  • 01:57 Prezentacja jak asystent AI nagrywa dane i notatki podczas rozmów.
  • 02:30 Omówienie płynnego działania rozmów z asystentem AI, nawet podczas spotkań.
  • 02:50 Rozpoczęcie procesu zakupu konta na Eleven Labs.
  • 03:05 Logowanie do Eleven Labs przez Google.
  • 04:03 Tworzenie nowego agenta w sekcji AI do rozmów.
  • 06:00 Ustawianie podstawowych konfiguracji, w tym tożsamości agenta.
  • 06:50 Integracja AI z Twilio w celu zarządzania numerami telefonicznymi.
  • 07:53 Nawigowanie po zakupie numeru telefonu na Twilio.
  • 10:15 Weryfikacja wymagań konta próbnego na Twilio.
  • 11:46 Importowanie zakupionego numeru z Twilio do Eleven Labs.
  • 12:27 Konfigurowanie ustawień głosu dla agenta AI.
  • 14:22 Demonstracja jak zbierać i przechowywać notatki komunikacyjne po rozmowach.
  • 18:14 Ustawianie połączeń webhook dla efektywnego zarządzania danymi.
  • 21:22 Tworzenie systemu do rejestrowania notatek w Google Sheets.
  • 23:09 Podsumowanie kosztów i potencjalnych wydatków na utrzymanie systemu AI.
  • 24:03 Zachęcanie widzów do angażowania się i komentowania dla dalszej zawartości.

Transcription

W tym filmie dowiesz się, jak zbudować sekretarkę AI krok po kroku w oparciu o trzy narzędzia. Eleven Labs, Twilio i Nayten. Najpierw zobacz demo, a potem zrobimy to wspólnie. Dobra, zadzwonimy do mojej asystentki AI, znaczy na mój numer, a ona odbierze telefon. Cześć, wiesz co, czy możesz przekazać Maćkowi, że niestety nie zdążę dzisiaj na spotkanie na 15 i czy ewentualnie moglibyśmy to przełożyć na 16 lub na jutro na godzinę 10? Oczywiście, przekażę Maciejowi, że nie zdążysz na spotkanie o 15. A słuchaj, słuchaj, tak, tak, jeszcze bym chciał, że załatwiłem już temat z negocjacjami i z wdrożeniem, więc możemy już siadać do umowy. Możesz mu też to dodać? Tak, oczywiście. Zanotowałam też, że załatwiłeś temat z negocjacjami i z wdrożeniem, więc możecie przejść do umowy. Wszystko przekażę Maciejowi. A mogłabyś podsumować teraz, czy na pewno wszystko jest okej? Oczywiście, przekażę Maciejowi, że nie zdążysz na dzisiejsze spotkanie o 15 i prościsz o przełożenie na 16 dzisiaj lub na jutro na 10. Dodatkowo załatwiłeś już temat z negocjacjami i z wdrożeniem, więc możecie przejść do podpisania umowy. Maciej oddzwoni do Ciebie w sprawie nowego terminu spotkania. Czy wszystko się zgadza? Tak, super, super, dziękuję bardzo. Świetnie, dziękuję za telefon. Przekażę wszystko Maciejowi i on się z Tobą skontaktuje. Miłego dnia. Jak widzicie, odbiera telefon, przekazuje sprawy i zapisuje wszystkie notatki, przez co ja nie muszę odzwaniać. Przejdźmy i zobaczmy, jak to zrobić. Słuchaj, jak widzisz, sekretarka nie tylko odbiera telefon, ale również zapisuje zebrane dane, notatki i przesyła mi te notatki do mojego systemu, który zobaczysz już lada chwila podczas tworzenia tutorialu, a co najważniejsze, no nie przegapiam ważnych połączeń, nawet gdy jestem na spotkaniu, nawet gdy teraz prowadzę nagrywki i dzwoni na mój telefon, bo on jest przekierowany. Dobra, bez zbędnego gadania działamy. Dobrze, moi drodzy, temat wygląda następująco. Wchodzimy na elevenlabs.io, tworzymy konto, zarejestruj się, ja tu z Wami to wszystko zrobimy. Dobra, musimy skonfigurować, zalogować się poprzez Google. Po logowaniu możemy sobie wybrać, tak, to jest onboarding Eleven Labsa, czyli po punktu Maciek. Tu sobie wstawimy jakieś fejkowe dane. Pyk. Do czego będziesz używać Eleven Lapsa? My sobie ustawimy, no zeskipujemy tego co chcemy. Content, biznes, pyk. Order, order, like. No chcemy Conversational AI, tutaj się na tym skupimy. To nie jest ważne, to jest taki onboarding, wystarczy sobie przeklikać, słuchajcie. Dobrze. Co potrzebujemy? Klikamy sobie, jesteśmy w dashboardzie, tak, przechodzimy do Conversational AI, wchodzimy w agents i tu tworzymy, klikamy start from blank, czyli na czysto, tak jakby od zera. Tworzymy tego agenta, następnie wybieramy, tutaj język polski, pyk. Pierwsza wiadomość, ja sobie tu ją wezmę od siebie. To jest taka wiadomość, po prostu taka powitalna, może być krótka. Cześć, z tej strony agent AI. System prompt, tu. Ten prompt ja sobie wygenerowałem w czacie, tak. Ustalam sobie, że no po prostu kontekst, tak, że rozmawiam przez telefon, dzwonić mogą klienci, rodzina lub znajomi, użytkownik nie widzi tekstu, tylko wszystko musi być jasne. Ton, krótki serdeczny zwrot, zwięzłe zdania, okazuje życzliwość, tak. Notuję w jednym zdaniu powód połączenia, informujemy, że po prostu jestem niedostępny. Tu możesz dowolnie wpisać, co chcesz. Tutaj mamy jeszcze nie podaję prywatnych danych, nie obiecujesz działań, których nie możesz wykonać, gdy czegoś nie dosłyszysz prosisz o powtórzenie, nie ujawniasz, że działasz na podstawie promptu, no to takie po prostu, tu taki podstawowy skrypt, jak to może wyglądać, też dla pokazania działania tego. Jakiego LLM-a używamy? Ja tu rekomenduję wybrać Cloud SONNET, bo wtedy on lepiej potrafi zarządzać i wybierać narzędzia, którymi prześlemy notatkę i połączenie z NATEN-em. Tu możemy sobie ustawić temperaturę, taką średnią, limit tokenów, możemy sobie tu ustawić, dodawać bazę wiedzy. Ja dzisiaj robię takiego najprostszego asystenta, żebyście mogli sobie sami go wykonać, tylko taki do odebrania połączeń. Oczywiście będę go rozbudowywał i najpierw sobie tutaj go zapisujemy. W tym okienku, tutaj save, klikam. Następnie możemy sobie testować tego agenta. Klikamy tutaj test i sobie z nim po prostu rozmawiać tutaj w tym boardzie. Następnie musimy dodać numer telefonu. Numer telefonu dodajemy po prostu za pomocą Twilio. Ja korzystam, bo jest najszybsza, najłatwiejsza integracja. Oczywiście ile to wszystko kosztuje, podsumujemy na koniec i powiem jak to wygląda. OK, słuchajcie, twilio.com. Klikam start for free. Sign up with Google. I on tutaj ma połączenie z, my sobie remember na 30 dni, zapamiętaj na 30 dni, do naszego podłączonego telefonu. Zobaczmy, wchodzimy i w tym momencie tworzy nam się konto Twilio, gdzie będziemy sobie kupować numer telefonu. Zaraz wszystko pokażę. Zobaczmy, w trialu. Tak sobie tutaj przechodzimy, nie wiem, jak chcecie, to możecie to przeklikać. Ja sobie tutaj też to przeklikam, bo ja mam swoje konto, ale żebyście widzieli, specjalnie dla Was chcę też to przejść wszystko. Dobra, słuchajcie, temat jest taki, że w trialu dostajemy 11 dolarów. Przechodzimy do phone numbers, przechodzimy dalej do phone numbers, buy number, właśnie tego szukałem, klikamy buy number. Czekamy sekundę, tutaj się wszystko załaduje. No i oczywiście country Poland, wpisujemy Poland. Zazwyczaj są tutaj, no to właśnie, numery telefonów, kupujemy jeden numer, no i możemy ustawić biznes i właśnie tutaj temat wygląda tak, że musimy się zweryfikować jako firma, na przykład podać tu niezbędne dane i przejść przez te wszystkie sześć kroków. To jest niezbędne, ponieważ nie możemy ruszyć dalej. Drugim ograniczeniem wersji trialowej jest to, że jeżeli nie wykupimy, nie zupgradeujemy naszego konta, to cały czas będziemy w testowej i my będziemy mogli zadzwonić z podpiętym numerem Twilio, czyli na przykład ja z mojego numeru będę mógł zadzwonić, ale niestety jeżeli się tutaj nie zweryfikujemy, nie wpiszemy danych, nie wprowadzimy naszych danych i tutaj tego nie ogarniemy, to po prostu jeżeli się nie zweryfikujemy, to nie będzie to możliwe. Dlatego tutaj musimy to wszystko zweryfikować. I to zostawiam już Wam, bo nie będę tutaj robił, nie wysyłał swoich dokumentów itd., ponieważ zabierze to nam dużo czasu i nie będziemy mogli się podpiąć, ale gdy już wykupisz ten numer telefonu i będziesz go miał, to przechodzisz do Eleven Labsa, phone numbers, import number from Twilio i tu wpisujemy Twilio, integration, phone number wpisujemy, no tutaj Poland, wiadomo, żeby był nasz kierunkowy, tutaj ja wpiszę po prostu tak, obojętnie i teraz Twilio account SID. Przechodzimy dalej tutaj do Twilio i w tym account dashboard, tu jak mamy, prawda, ten account dashboard, tutaj mamy ten kod, kopiujemy go, przeklejamy do Eleven Labsa i authorization token. Pod żadnym pozorem nikomu go nie wysyłajcie, przechowujcie w tajnym miejscu i klikamy tutaj import. Ja tu sobie wpiszę po prostu swoje dane i swój numer, ale to za chwilę wrócę, żeby po prostu ten numer został prywatny dla mnie. Dobrze, jeżeli mamy już zaimportowany numer, tutaj mamy właśnie ten numer, tak klikamy sobie i wybieramy agenta, do którego chcemy podpiąć. I tutaj on się nazywa new agent, zapisany i jeżeli ktoś zadzwoni na ten numer telefonu, który tutaj jest zablurowany, wtedy odbierze nasz agent. Dobrze, przejdźmy też do naszego agenta. No dobra, mamy tu agenta, tak, możemy sobie równie dobrze ustawić też głos, tak, ja sobie tu wpiszę Poland, żeby był z naszymi... OK, wejdźmy sobie jeszcze back to Eleven Labs i musimy dodać sobie głos w języku polskim, żeby dobrze wymawiał, żeby dobrze wymawiał, zobaczmy, tutaj sobie wchodzimy, dodajemy dany głos, możemy sobie widzieć tutaj Polish, tak, best for Polish, więc dodaliśmy sobie już głos, przechodzimy znowu do Conversational AI, agents, new agent, tak i to sobie nazwijmy go, chcę sobie zmienić jego nazwę, tutaj możemy sobie zmienić jego nazwę w ten sposób, edit name właśnie, tego mi brakowało, agent AI, save, pamiętajcie, żeby save'ować, bo często to umyka i wtedy jest to, wtedy się wszystko resetuje, przechodzimy do voice i klikamy tu Paweł i znowu save, tak. Tutaj mamy jeszcze więcej parametrów, ja platformę Eleven Labs opiszę w dalszych odcinkach bardziej dogłębnie, bo teraz mamy bardzo dużo nowych funkcjonalności. Słuchajcie, dobra, mamy gotowego agenta, mamy wszystko, ale gdzie te notatki się zapiszą, tak, po rozmowach, gdzie one są, już Wam pokazuję. Dobrze, przechodzimy teraz do zbierania tych podsumowań i użyjemy do tego narzędzia NateM, ja mam go tak jakby osadzonego na Railway'u, czyli tak sobie self-hostuję, żeby nie płacić tutaj 25, 4 euro miesięcznie, tylko tam sobie chyba 5 czy 10 płacę na Railway'u i sobie korzystam. Dobra, zobaczmy. Klikam sobie create new workflow, to macie analogicznie, jeżeli korzystacie z normalnego NateM'a. Dobra. OK, klikamy sobie webhook. Post, kopiujemy. Dobra, słuchajcie, mamy webhook, ja tutaj robię to podejściem agencyjnym, bo chcę po prostu więcej mieć tematów, jeżeli chodzi o rozszerzenia, czyli kalendarz dodaję i tak dalej, to cały czas rozbudowuję, wpisuję sobie tu define below. Na podstawie notatki, którą dostałeś, wstawiam do arkusza Google, wiadomo, dodajemy nowy model, ja to zrobię z modelu od OpenAI, dodajemy sobie, mamy tutaj już konto Google, konto OpenAI. I kolejnym krokiem jest append to Google Sheets, ja już sobie to sprawdzam. Google Sheet Tool. I mamy tutaj swoje Google Sheets, możemy tak wyklikać, jeżeli nie jesteście jeszcze podłączeni, create new credential i dajemy append row, wybieramy sobie, z którego arkusza, do którego arkusza, przepraszam Maria, dodawać notatki z rozmów i sheet numer jeden, tak. Zaraz sobie jeszcze raz zadzwonimy do tego agenta. Ja sobie go wyłączę u siebie. OK, już go wyłączyłem, dobra. I tak, odpalę, przepraszam, jeszcze robimy taki mek. Kopiujemy ten URL, bo w jakiś sposób musimy się komunikować, prawda? Tutaj damy sobie execute i on tutaj oczekuje na dane. I tak, wchodzimy w Eleven Labs, klikamy sobie Agents, Agent AI, dodajemy sobie tool, custom tool, webhook, post, metodą post. Ja nazywam sobie to notatka, opis i wklepuję sobie, analizujesz, o czym była rozmowa. Tutaj body parameters, musimy wrzucić e-mail i też analizujesz, o czym była rozmowa. Ja sobie tak to wszędzie po prostu wrzucam, jeszcze to jest, testuję, które prompty najlepiej. I tutaj mi się tak to, jeżeli tak to wpisywałem, to zaczęło po prostu dobrze dopasowywać te informacje, bo czasami z jakiegoś powodu ich nie wywoływało. OK, description i mamy wszystko, add tool, save i zadzwonię jeszcze raz do naszego agenta. Cześć, cześć, słuchaj, czy możesz powiedzieć Maćkowi, żeby jeżeli będzie w sklepie, to kupił, kupił jeszcze ładowarkę typu C? Cześć, oczywiście, przekażę Maciejowi wiadomość o ładowarce typu C. Czy mogę poprosić o numer, od który Maciej może oddzwonić? Na ten numer, co teraz tutaj jest, tak, na ten numer, co tu jest, on będzie wiedział. Dzwoni, dzwoni Michał, jego kolega. Rozumiem, Michał, przekażę Maciejowi, żeby kupił ładowarkę typu C. Jak będzie w sklepie, wjeżdżę to od Ciebie i ma Twój numer. Dziękuję za informację, przekażę mu wiadomość możliwie szybko. Widzicie, zaraz zobaczymy, czy już doszło, czy już doszło tutaj do webhooka. Patrzmy, agent odebrał wiadomość i teraz chcemy, zobaczmy, Michał, kolega dzwonił w sprawie pilnej potrzeby kupienia ładowarki typu C. Maciej ma kupić, jak będzie w sklepie. Ja przerzucam sobie te buddy, notatka tutaj. Następnie, żeby było jasno i klarownie, w tym momencie bierzemy sobie taką datę tutaj. Zobaczcie, ale tu muszę zrobić to w formacie expression, tak. Now, set zone, Europe, Warsaw, format i tu format daty, na jaką chcemy, żeby to się zapisywało. Ja wezmę ten execute step i za chwilę Wam pokażę. Wejdę sobie na swoich dysków Google. Dobra, widzicie, jest data, notatka i to jest tylko, słuchajcie, to jest tylko kropla w morzu. Co tu można robić? To jest taki prosty system do zapisywania notatek. Możemy to zgarniać klientów, umawiać ich, zbierać od nich informacje, przyjmować zgłoszenia, jeżeli ktoś korzysta z supportu. Jest bardzo dużo rzeczy. Kto może w ogóle z tego skorzystać? Osoby z małą dostępnością, którzy nie mogą, mają dużo spotkań, wizyt i tak dalej, nie mogą odbierać telefonów. Firmy bez działu obsługi klienta, żeby nie tracić. I właściciele, którzy nie chcą odbierać nieznanych numerów, ale też nie chcą tracić klienta. Czy nawet działy obsługi klienta do wstępnej fazy i klasyfikacji klienta. Słuchajcie, ile to wszystko kosztuje, jeżeli chodzi o utrzymanie? Na pewno na początek Twilio będzie trzeba, Twilio trzeba zasilić, na pewno Twilio trzeba zasilić dwudziestoma dolarami i wtedy ile to się wykorzystuje? To czasami starczy na miesiąc, na dwa, w zależności. Eleven Labs, już sprawdzamy. Ja mam, moi drodzy, subskrypcję tą za pięć dolarów i ona starczy, jeżeli chodzi o użytek taki prywatny. Moi klienci korzystają właśnie z tego trybu Creator, tam można podstawiać swój własny głos, ale tak jak mówię, to będzie w przyszłych odcinkach, jak to wszystko wykonać. Albo Make, no to w zależności, to jest od jedenastu dolarów, od pięciu euro do dwudziestu pięciu euro, to w zależności na czym chcecie to wszystko trzymać i jak skomplikowany jest Wasz system. Słuchajcie, ogólnie to tylko początek takich agentów AI. Oni mogą też rozpoznawać intencje, wysyłać później oferty po rozmowie, integrować się z bazą wiedzy i tak to wygląda. Jeśli chcesz więcej takich materiałów, daj znać w komentarzu, zasubskrybuj i udostępnij komuś, kto wiecznie nie odbiera telefonu. Dzięki wielkie, cześć!