• Home
  • Product
    • Capabilities
    • Technology
    • TalkGPT
    • Large Language Model
  • Industry Solutions
    • Telecommunication
    • Banking & Finance
    • Insurance
    • Healthcare
    • E-Commerce
  • About Us
    • Company
    • Join Us
  • Blog
    • Featured Article
      • English
      • Bahasa Indonesia
    • News
  • Home
  • Product
    • Capabilities
    • Technology
    • TalkGPT
    • Large Language Model
  • Industry Solutions
    • Telecommunication
    • Banking & Finance
    • Insurance
    • Healthcare
    • E-Commerce
  • About Us
    • Company
    • Join Us
  • Blog
    • Featured Article
      • English
      • Bahasa Indonesia
    • News
Schedule a Demo

  • Home
  • Product
    • Capabilities
    • Technology
    • TalkGPT
    • Large Language Model
  • Industry Solutions
    • Telecommunication
    • Banking & Finance
    • Insurance
    • Healthcare
    • E-Commerce
  • About Us
    • Company
    • Join Us
  • Blog
    • Featured Article
      • English
      • Bahasa Indonesia
    • News
Schedule a Demo

Conversational ai

12
Jun
Talkbot Basics  ·  Voice AI Technology
The Southeast Asian unicorn – and why we need more of them
Jennifer Zhang

Jennifer Zhang

CEO & Co-Founder

I’ve had the privilege of participating in a panel discussion at the ATxSG Summit, on the state of Southeast Asia’s startup ecosystem in early June 2023. The session posed a number of questions that got me thinking about many things.

Southeast Asia is quickly becoming a hotbed for innovation and entrepreneurship. With a population of over 650 million people, a growing middle class, and a tech-savvy youth demographic, Southeast Asia is ripe for startups to flourish. The region has seen a surge of unicorn companies in recent years. Below are some thoughts that were spurred by the discussion.

What makes a unicorn?

As is often seen in scrappy startups, successful unicorns solve real-world problems for ordinary people in tech-smart ways. They understand what technology can do and push the limits of possibility, disrupting traditional ways of doing things.

One of the distinguishing features of Southeast Asian unicorns is their focus on emerging markets, where they see untapped potential and a growing middle class. There is also a strong product-market fit, which is an essential ingredient for wide adoption. Unicorns also build adaptable, scalable business models that can handle rapid expansion across different markets. They are also exceptionally good at regional adaptation, understanding different cultures, languages, and preferences in the region.

Southeast Asian unicorns develop their business with their core market in mind – in other words, they are very Southeast Asian in their approach. Gojek took the native Indonesian ojek or motorbike riders and digitized the service, making it vastly more accessible to drivers and customers alike. Regional e-commerce giants Shopee and Lazada won the market through its cash on delivery (COD) strategies, appealing to users who are either unbanked or are apprehensive about online payments.

At WIZ, we understand that Southeast Asian customers prefer to speak in their local languages, which is why we design our Talkbots to speak like the local consumer. We empower local businesses to embrace AI by tailoring our products to the market.

Why unicorns matter

Unicorns, being digital and growing by network effects, promote the expansion of internet access and the adoption of digital services in the region, which in turn drives the development of digital infrastructure. They also focus on addressing unique regional challenges and promoting financial inclusion, contributing to the development of a more vibrant and inclusive digital economy.

The focus on emerging markets is an important characteristic because by it, theses unicorns broaden the coverage of the startup ecosystem. Startups from other countries may target more mature markets like the US, Europe, or China, which have established consumer segments and industries. By working in developing markets, Southeast Asian unicorns can help shape these new markets and grow them significantly. They also focus on the emerging middle class that has an increasing purchasing power, which can determine the direction these markets take.

While the ecosystem is continually growing, I believe we need to encourage the growth of unicorns by creating conducive regulatory environments, developing digital infrastructure, and supporting a culture of entrepreneurship and innovation. We also need to strengthen regional collaboration and improve intellectual property protection.

Challenges for “soonicorns”

Aside from unicorns, there are “soonicorns” – startups that have the potential to become unicorns (valued at over $1 billion) but are not quite there yet. The rise of Southeast Asian soonicorns comes with as the region’s growing middle class, improving infrastructure, and supportive government policies. But there are also challenges which are somewhat embedded into the Southeast Asian market. These include market fragmentation, regulatory complexity, lack of access to funding, competition for talent and market share, and a lack of digital infrastructure. 

The lack of access to funding, particularly at the early stages, is something that can make it difficult for startups to get off the ground and compete with more established players. However, there are a number of initiatives aimed at addressing this issue, including government-backed funds and private sector investment.

Another challenge facing Southeast Asia’s startup ecosystem is the lack of talent. While there are plenty of young, tech-savvy graduates in the region, many of them lack the skills and experience that startups require. We experience this personally at WIZ. We need locals to do the work in the local languages, and we need them to have some experience in AI or at least have the capacity to grow in the space. And yet, despite this challenge, we have continued to grow and expand into markets that were practically AI deserts. We love that we can bring about this kind of change.

Southeast Asia’s tech ecosystem will likely see more unicorns emerge in the next few years, particularly in the field of AI. And with the rise of unicorns comes the inevitable growth in region’s economy.

ATxSG was jointly organised by IMDA Singapore and Informa Tech, held from 06-09 June 2023.

07
Jun
Pengenalan Talkbot  ·  Teknologi Voice AI
Pertanyaan Anda tentang ChatGPT dan AI generative
ChatGPT, DALL-E, dan solusi AI generative lainnya sedang menjadi perbincangan di internet. Perkembangan ini dapat mengubah cara kerja dan kreativitas kita – tetapi bagi seseorang yang tidak terbiasa dengan teknologi AI, memasuki dunia kecerdasan buatan mungkin terasa sangat menakutkan atau membingungkan. Dalam artikel ini, kami akan membahas beberapa pertanyaan yang muncul selama webinar terbaru kami dengan Yusi Chen dari GGV Capital, Zhen Wang dari Advance Intelligence Group, Leslie Teo dari AI Singapore, dan Jianfeng Lu dari WIZ.AI sendiri.
 
 

Apa Langkah pertama bagi sebuah perusahaan untuk memperkenalkan AI, khususnya ChatGPT, ke dalam prosesnya?

Para panelis webinar kami umumnya menyarankan untuk mengintegrasikan AI ke dalam pekerjaan sehari-hari Anda. Meskipun saran ini mungkin terdengar sederhana, hal tersebut bisa terasa menakutkan bagi seseorang yang belum pernah bekerja dengan AI sebelumnya. Untungnya, telah ada solusi AI yang lebih mudah diakses oleh pekerja kantor rata-rata. Microsoft, salah satu investor OpenAI, telah meluncurkan asisten berbasis AI yang disebut Copilot. Ia bekerja seperti ChatGPT, menciptakan konten dengan menggunakan instruksi sederhana seperti “ ringkas dokumen ini menjadi tida poin penting”.
 
Bagi mereka yang masih belum familiar, kami menyarankan untuk mencoba ChatGPT dan memintanya untuk menghasilkan beberapa teks untuk Anda. Mulailah dengan memberikan konteks permintaan Anda (misalnya, saya perlu membuat rekomendasi professional) dan kemudian berikan persyaratan Anda (misalnya, bagaimana cara mengintegrasikan AI ke dalam pekerjaan sehari-hari saya?). Namun, perlu dicatat bahwa informasi yang diberikan oleh ChatGPT mungkin tidak akurat, jadi selalu lakukan pengecekan silang informasi sendiri. Pencarian obrolan Bing bekerja dengan cara yang serupa dan juga dapat membantu Anda terbiasa bekerja dengan AI.
 
 

Bagaimana keputusan Italia untuk melarang ChatGPT akan memengaruhi industri ini?

Seperti yang dikemukakan oleh Yusi Chen dari GGV Capital, isu di balik larangan Italia adalah keamanan data. Dengan menggunakan ChatGPT, interaksi pengguna dengan chatbot akan dikirimkan ke OpenAI sebagai data latihan. Regulator keamanan data Italia melihat penggunaan ChatGPT sebagai pelanggaran terhadap undang-undang privasi yang ketat di Eropa.
 
“Memang benar, menggunakan ChatGPT berarti mengirimkan data,” kata Leslie Teo dari AI Singapore. “Tetapi lihatlah dari sudut pandang ini. Perusahaan dapat melarang penggunaan perangkat lunak atau aplikasi, atau memblokir situs web, tetapi apa yang dilakukan karyawan? Mereka menggunakannya di iPhone mereka. Apakah itu lebih aman?”
 
Teo menyarankan untuk mengambil pendekatannya yang berbeda. “Jauh lebih baik mendidik orang-orang tentang cara menggunakan solusi-solusi ini,” jelasnya. “Anda dapat bertanya kepada ChatGPT, tetapi jangan gunakan data atau informasi yang sebenarnya. Alih-alih memberikan nama, gunakan “A” dan alih-alih mengatakan 150, katakanlah 1,5 untuk menyembunyikan data.”
 
Bagi Jianfeng Lu dari WIZ.AI, kesenjangan keamanan data merupakan peluang bagi para pengusaha. “Sebelumnya, kami perlu bertukar kunci public untuk membangun kepercayaan. Kemudian seseorang menemukan (zero-knowledge authentication systems) system otentikasi pengetahuan nol. Jadi ini adalah peluang untuk mengembangkan solusi keamanan data untuk jenis model AI lainnya.”
 
 

Pegawai mana yang akan merasa paling terancam oleh AI Generative?

Menurut Teo, peran seperti analis, manajer resiko, dan ekonom akan sangat terpengaruh. “Siapa pun yang memberikan penjelasan tentang trend,” jelasnya. “Saya juga berpikir bahwa pemrograman akan mengalami perubahan yang drastic begitu pula dengan ilmu data. Itu belum lagi profesi pemasaran dan komunikasi.”
Kemudian Chen membahas kinerja GPT-4 dalam tes standar. “Dalam GRE, GMAT, SAT, APE…ChatGPT berada dalam lima persen teratas peserta tes,” katanya. “Bahkan dalam ujian professor perguruan tinggi, ChatGPT bisa mendapatkan nilai A atau A+. Saya piker mungkin saja dalam lima tahun ke depan, mahasiswa tidak dapat bersaing dengan GPT. Jadi itu adalah salah satu kelompok yang akan menghadapi banyak tantangan dengan GPT, tetapi juga banyak peluang.”
 
Teo melanjutkan pemikiran tersebut dan menyebutkan sebuah makalah tentang GPT dan produktivitas yang menyatakan bahwa produktivitas pekerja berpengetahuan dapat meningkat sebesar 30% dengan menggunakan alat dan solusi AI. “Misalnya, jika saya menggunakan Copilot untuk pemrograman, dan saya percaya pada keterampilan saya, saya merasa mendapatkan manfaat lebih dari alat tersebut daripada ketika saya sama sekali tidak tahu tentang pemrograman,” katanya. “Jadi dengan ChatGPT yang lebih baik dalam ujian, mungkin masalahnya ada pada tes tersebut bukan pada manusia.”
 
 

AI sebagai pendorong dan bukan ancaman

Di WIZ.AI, kami mendorong bisnis untuk merangkul kemungkinan yang ditawarkan oleh teknologi AI. Meskipun mengadopsi AI mungkin terlihat menakutkan bagi Sebagian orang, memahami apa yang solusi-solusi tersebut dapat atau tidak dapat lakukan – dan bagaimana mereka dapat membantu Anda melakukan pekerjaan yang lebih baik – merupakan kunci dalam membangun strategi AI yang sukses.
Ingin mencoba solusi generative AI yang mudah diimplementasikan ? Coba produk terbaru kami, TalkGPT, yang didukung oleh ChatGPT. Buat dan implementasikan komunikasi dengan pelanggan dalam lima kali klik. 
Jelajahi TalkGPT

07
Jun
Pengenalan Talkbot  ·  Teknologi Voice AI
Model Bahasa Besar dan Kekuatan AI Generatif
Pada tanggal 5 April 2023, WIZ.AI menyelenggarakan webinar langsung dengan empat pemimpin pemikiran dalam ruang kecerdasan buatan. Dimoderatori oleh Yusi Chen, Wakil Presiden GGV Capital, sesi selama 1 jam ini mengumpulkan wawasan dari Direktur Senior AI Singapore, Leslie Teo, Chief Technology Officer Advance Intelligence Group, Zhen Wang, dan Ketua dan salah satu pendiri WIZ.AI, Jianfeng Lu. Berikut adalah sorotan dari diskusi yang menarik.
 
 

Trend di industry keuangan dan kecerdasan buatan

Pasar keuangan global telah melihat banyak gejolak dalam beberapa minggu terakhir, tetapi ada trend jangka Panjang yang mempengaruhi industry ini. Bagi perusahaan fintech, secara khusus, tantangannya adalah bagaimana tetap relevan menghadapi perkembangan teknologi yang cepat dan baru yang muncul. Teo mencatat bahwa perusahaan fintech telah mengganggu perbankan tradisional, tetapi solusi generasi baru mungkin nantinya akan menggeser posisi fintech saat ini.
 
Bagi Wang, kepatuhan peraturan adalah hal utama yang perlu diperhatikan oleh Lembaga keuangan. Kebijakan yang semakin ketat dibentuk seputar privasi data, keamanan data, dan yurisdiksi data. Garis panduan ini juga mempengaruhi penggunaan AI dan model bahasa. Perusahaan swasta dan lembaga keuangan kemungkinan besar akan mengembangkan dan menggunakan model bahasa mereka sendiri daripada mengandalkan yang disediakan oleh teknologi besar seperti Google Bard atau OpenAI ChatGPT. Wang juga melihat adanya penggunaan yang lebih besar dari model yang bersifat open source seperti LLaMa dari Meta dan Alpaca dari Stanford di masa depan. Pengembangan model milik sendiri seperti Bloomberg GPT hanya akan mempercepat.
 
Lebih lanjut di bidang AI, Lu percaya bahwa transformasi AI dan digitalisasi akan mempercepat ketika bisnis-bisnis semakin siap mengadopsi solusi-solusi baru. Hambatan utama yang harus diatasi dalam pengembangan AI adalah akurasi model, keamanan data, dan waktu respons.
 
 

Pengembangan Kolaborasi Antara AI dan manusia

Lu melanjutkan bahwa idealnya, AI seharusnya menudkung pekerjaan manusia. Namun, saat ini, manusia masih diperlukan untuk mendukung atau membimbing AI. Misalnya, jika bot suara tidak merespons dengan benar, agen manusia dapat ikut serta dan mengambil alih. Manusia juga mengawasi pekerjaan AI, memeriksa output dan memberikan anotasi atau memperbarui model sesuai kebutuhan. WIZ.AI, khususnya, menggunakan system koreksi atau anotasi yang memungkinkan desainer CX-nya untuk dengan cepat memperbarui bot dan meningkatkan akurasi data.
 
Melihat ke masa depan, Teo melihat solusi AI menjadi rekan kerja, bukan hanya alat atau penggerak. Visi yang lebih besar adalah agar AI menjadi kolaborator sejati dalam pekerjaan – memberikan masukan seperti rekan manusia. Namun, pada saat ini, AI masih rentan terhadap kesalahan, yang membatasi aplikasinya. Solusi seperti ChatGPT dapat mengesankan pengguna, tetapi juga dikenal memberikan informasi yang salah sambil terdengar meyakinkan. Untuk saat ini, keandalan AI masih dipertanyakan.
 
Peran AI Singapore adalah memungkinkan ekosistem yang mengembangkan teknologi AI. AI Singapore berinvestasi dalam penelitian dan membangun kapabilitas penelitian di bidang AI. Banyak dari karyanya melibatkan kolaborasi antara penelitian dan industry, seperti bidang Kesehatan. AI Singapore juga berinvestasi dalam program magang dengan melatih insinyur AI dan menempatkannya di perusahaan yang menyediakan magang selama 6 bulan. Selain itu, organisasi ini juga memperhatikan tata kelola dan etika AI. AI Singapore secara besar-besaran membangun kapasitas untuk industri govtech, kesehatan dan pertahanan.
 
Salah satu proyek terbesar yang diinvestasikan oleh Singapore adalah pengembangan Large Language Models (LLM) Asia Tenggara. AI Singapore ingin menjadi suara Asia Tenggara, memastikan bahwa orang-orang di wilayah ini diwakili dengan baik dalam model AI. AI Singapore bekerja sama dengan perusahaan seperti WIZ.AI dalam mengembangkan model-model ini untuk mengisi kesenjangan yang ditinggalkan oleh GPT-4. (GPT-4 sebagian besar dilatih dengan data dari negara-negara Barat seperti Amerika Serikat dan negara-negara Uni Eropa).
 
 

Masa depan AI dan Large Language Models

Mengenai masa depan, Chen optimis dengan aplikasi vertical industri seperti memilki model bahasa khusus untuk sektor kesehatan atau perbankan. Jika sebelumnya hampir tidak mungkin untuk membangun LLM yang spesifik untuk, kini ketersediaan LLM open source telah membuat hal ini tercapai. Contoh kunci adalah Bloomberg, yang membangun BloombergGPT khusus untuk industri investasi.
 
Bagi keempat panelis, masa depan AI terlihat cerah. Teo mencatat bagaimana GPT-4 menunjukkan ciri-ciri Artificial General Intelligence (AGI), yang merupakan tujuan utama para pengembang AI. Hal ini telah membuat banyak pemimpin industri seperti Elon Musk menyatakan perlunya menghentikan perkembangan AI, seperti yang ditekankan oleh Wang. Namun, Wang melihat seruan untuk menghentikan sebagai sia-sia dan kontraproduktif, karena teknologi ini tak dapat terhindarkan akan terus maju. Yang dibutuhkan adalah pemerintah dan regulator yang harus mempercepat pengembangan pedoman untuk mengatur atau mengelola resiko AI. Teo setuju, dan menekankan bahwa risiko dengan AI sebagian besar terletak pada bagaimana manusia menggunakannya.
 
Lu mengakhiri sesi dengan melihat percepatan dalam kemunculan perkembangan baru. Sebelumnya, versi baru diluncurkan setiap bulan, kemudian mungkin setiap dua minggu. Sebelumnya, versi baru diluncurkan setiap bulan, kemudian mungkin setiap dua minggu. Sekarang sudah umum untuk mendengar pembaruan yang terjadi setiap minggu. Hal ini mungkin terlihat sebagai ancaman bagi para pendiri startup, yang perlu menjaga kecepatan dengan segala hal yang terjadi. Namun pada akhirnya, para pengusaha perlu memperhatikan gambaran besar-bisnis ada untuk membantu manusia menjalani kehidupan yang lebih baik dan lebih produktif. Peran penyedia solusi AI adalah membantu orang-orang sehari-hari belajar cara menggunakan AI dan teknologi baru dengan baik.
Mulailah kampanye keterlibatan pelanggan dengan hanya beberapa klik menggunakan TalkGPT, solusi omnichannel yang didukung oleh generative AI pertama di ASEAN. 
Jelajahi TalkGPT

07
Jun
Pengenalan Talkbot  ·  Teknologi Voice AI
Menelaah : Bagaimana LLM (Large Language Models) bekerja
Jennifer Zhang

Jennifer Zhang

CEO & Co-Founder

Kecerdasan Buatan (AI) telah berkembang dengan cepat dalam beberapa bulan terakhir. Aktivitas yang biasanya membutuhkan kecerdasan manusia seperti persepsi, penalaran, dan pengambilan keputusan, secara perlahan dialihkan ke AI. Salah satu hal yang mendorong perkembangan AI adalah pengembangan model dasar yang lebih kuat dan tangguh.
 
Model dasar adalah yang memungkinkan AI untuk melakukan tugas-tugas yang lebih umum bahkan tanpa pelatihan khusus sebelumnya. Model dasar berperan sebagai dasar pengetahuan dan pemahaman untuk AI, didukung oleh jumlah data yang besar menggunakan machine learning. Model dasar dibangun dengan tujuan-tujuan tertentu, seperti kemampuan berbicara, untuk mendukung aplikasi AI yang lebih akurat dan efisien.
 
Model bahasa besar (LLM) adalah jenis model dasar yang memungkinkan AI berbicara seperti manusia. Ini dilatih dengan jumlah data yang besar dan menggunakan teknik-teknik canggih seperti jaringan saraf untuk memahami kompleksitas bahasa. LLM telah digunakan untuk chatbot AI, terjemahan mesin, dan ringkasan teks. Tetapi bagaimana sebenarnya model-model ini bekerja? Dalam artikel ini, kami akan menjelajahi rincian teknis dari model bahasa besar dan memberikan gambaran tingkat tinggi tentang cara kerja internalnya.
 
 

Dasar-dasar pemodelan bahasa

Pada intinya, model bahasa adalah model statistic yang memperkirakan distribusi probabilitas bahasa. Dengan kata lain, ia memprediksi kemungkinan kata tertentu atau urutan kata berdasarkan konteks suatu kalimat atau dokumen. Misalnya, dengan diberikan kalimat “Saya suka makan….untuk sarapan,” sebuah model bahasa dapat memprediksi kata yang paling mungkin untuk mengisi kekosongan berdasarkan kata-kata sebelumnya.
 
Model bahasa yang paling sederhana didasarkan pada model n-gram, yang menghitung probabilitas setiap kata dalam kalimat berdasarkan frekuensi kemunculannya dalam korpus pelatihan, atau massa data yang digunakan untuk pelatihan. Namun, model-model ini memiliki keterbatasan dan bisa kesulitan dengan urutan kata yang lebih panjang atau menghasilkan teks yang baru dan koheren.
 
 

Mengenal LLM (Large Language Model)

Large Language Models, di sisi lain, dirancang untuk mengatasi keterbatasan tersebut dengan menggunakan jaringan saraf untuk memproses bahasa dengan cara yang lebih canggih dan nuansa. Model-model ini dilatih dengan jumlah data teks yang besar, menggunakan proses yang disebut pembelajaran tanpa pengawasan untuk mengidentifikasi pola dan hubungan dalam data.
 
Jenis Large Language Model yang paling umum adalah model berbasis transformer, yang pertama kali diperkenalkan oleh Google pada tahun 2017 dengan rilis arsitektur Transformer. Model berbasis transformer menggunakan mekanisme perhatian diri untuk menangkap dependensi jarak jauh antara kata-kata, memungkinkan mereka memahami konteks kalimat dengan cara yang lebih canggih. Ini berarti bahwa mereka dapat menghasilkan teks yang lebih koheren dan sesuai konteks daripada model n-gram.
 
Melatih model bahasa besar adalah proses yang kompleks dan membutuhkan komputasi yang intensif, biasanya melibatkan beberapa tahap. Pertama, model diinisialisasi dengan bobot acak, kemudian dilatih dengan korpus data teks yang besar menggunakan proses yang disebut propagasi balik. Propagasi balik menyesuaikan bobot model berdasarkan kesalahan yang dibuatnya dalam memprediksi kata berikutnya dalam sebuah kalimat. Proses ini diulang dalam banyak iterasi hingga model mencapai tingkat akurasi yang tinggi dalam memprediksi kata berikutnya.
 
 

Pemelajaran ulang untuk kasus penggunaan spesifik

Salah satu manfaat utama dari model bahasa besar adalah fleksibilitas dan adaptabilitasnya. Setelah sebuah model dilatih dengan korpus teks yang besar, model tersebut dapat dijemput ulang untuk kasus penggunaan spesifik, seperti pertanyaan-jawaban atau analisis sentiment. Pemelajaran ulang melibatkan pelatihan model pada dataset yang lebih kecil dan lebih spesifik untuk mengoptimalkan kinerjanya pada tugas tertentu tersebut. Proses ini membutuhkan waktu, namun memungkinkan organisasi mengembangkan aplikasi pemrosesan bahasa yang sangat akurat dan efektif untuk berbagai kasus penggunaan.
 
Ada banyak alat dan kerangka kerja yang memungkinkan pemelajaran ulang atau penyesuaian model bahasa besar. Banyak penyedia solusi kecerdasan buatan dapat menyesuaikan model bahasa besar yang sudah ada hanya dengan beberapa baris kode dan data pelatihan. Ini memungkinkan mereka menciptakan model bahasa khusus domain atau wilayah yang melebihi performa model bahasa generic untuk kasus penggunaan tertentu. Penyesuaian ini juga memungkinkan personalisasi untuk interaksi dengan pelanggan, meningkatkan pengalaman pengguna.
 
 

Manfaat pemelajaran ulang pada model bahasa besar

Misalkan Anda adalah perusahaan yang ingin membangun chatbot untuk tim dukungan pelanggan Anda. Anda ingin chatbot dapat menjawab pertanyaan pelanggan tentang produk dan layanan Anda dengan cepat dan akurat, tetapi Anda juga ingin memiliki sentuhan personalisasi dan mencerminkan gaya dan nada merek Anda. Untuk mencapai hal ini, Anda dapat memulai dengan model bahasa besar yang sudah dilatih sebelumnya, seperti GPT-4 yang telah dilatih dengan jumlah data yang besar dan memiliki pemahaman yang kuat terhadap bahasa. Namun, GPT-4 belum dilatih dengan data yang spesifik untuk industri atau produk Anda, sehingga mungkin tidak memberikan performa yang sesuai dengan yang Anda harapkan untuk kasus penggunaan Anda.
 
Di sinilah fine-tuning menjadi penting. Dengan fine-tuning, Anda dapat mengambil model yang telah dilatih sebelumnya dan melatihnya menggunakan data perusahaan Anda, seperti deskripsi produk, log dukungan pelanggan, dan informasi relevan lainnya. Dalam beberapa kasus, penyesuaian dapat dilakukan dengan menambahkan data baru ke dalam model pelatihan, yang lebih sederhana dan tidak membosankan daripada fine-tuning. Apapun metode yang digunakan, hasil akhirnya adalah model belajar tentang industri dan produk khusus Anda, serta meningkatkan kinerjanya untuk kasus penggunaan tertentu. Fine-tuning, bagaimanapun, memberikan lebih banyak personalisasi. Hal ini dapat menggabungkan suara dan nada merek Anda dengan memberikan contoh bagaimana perusahaan Anda berkomunikasi dengan pelanggan. Hal ini membantu memastikan bahwa chatbot terdengar seperti merek Anda dan memberikan pengalaman yang personal untuk pelanggan Anda.
 
 

Masa depan model bahasa

Pemain-pemain utama seperti OpenAI dan Meta akan memiliki keunggulan dalam pengembangan LLM (large language model) tujuan umum. Namun, ada ruang yang besar untuk LLM yang khusus. Pasar vertikal seperti fintech kemungkinan akan melihat pemain-pemain kecil datang dan mengembangkan model bahasa yang khusus untuk domain tersebut. Perusahaan seperti Bloomberg sudah mengembangkan LLM mereka sendiri seperti BloombergGPT. Para spesialis akan memiliki keunggulan karena pengetahuan mendalam mereka tentang data eksklusif atau domain-specific.
 
Ketika berbicara tentang fine-tuning atau penyesuaian, arah yang menjanjikan adalah penggunaan meta-adapters yang melakukan fine-tuning pada model yang sangat kecil (jutaan parameter daripada miliaran). Hal ini, dikombinasikan dengan metode pembelajaran few-shot, memungkinkan penyesuaian LLM dalam waktu yang lebih singkat. Hasil akhirnya adalah tersedianya lebih banyak model bahasa yang khusus untuk domain bagi lebih banyak bisnis dan pasar.

 

Tertarik memiliki model bahasa yang khusus untuk bisnis atau domain Anda sendiri? Lihatlah Large Language Models (LLMs).
Jelajahi LLMs

01
Jun
Pengenalan Talkbot  ·  Teknologi Voice AI
Resiko Keamanan Data Dalam Penggunaan Generative AI Tools dari Pihak Ketiga
Jennifer Zhang

Jennifer Zhang

CEO & Co-Founder

Berbagai generative AI tools seperti ChatGPT, Bard dan Bing search telah mengubah bagaimana cara perusahaan berinteraksi dengan customer, memproduksi hasil dan menjalankan tugas lainnya. Namun, penggunaan dari produk-produk ini juga meningkatkan kekhawatiran mengenai keamanan data dan perlindungan data. Pada artikel ini, kita akan mengupas mengenai resiko dari penggunaan generative AI tools dari pihak ketiga dan memberikan beberapa saran untuk memastikan bahwa perusahaan Anda menggunakan tools ini dengan aman dan bertanggungjawab.

 

Generative AI dan data security

Salah satu resiko utama yang dikaitkan dengan penggunaan generative AI tools adalah kemungkinan adanya pelanggaran atau kebocoran data. Karena tools ini didesain untuk dapat menghasilkan hasil secara otomatis, tools ini seringkali mengumpulkan dan menyimpan jumlah data yang besar. Hal ini yang menjadi alasan utama mengapa banyak institusi keuangan seperti JP Morgan Chase dan Deutsceh Bank hanya memberikan penggunaan terbatas bahkan melarang penggunaan ChatGPT di tempat kerja.

Resiko yang ada dalam penggunaan generative AI tools pihak ketiga ini tidak terlalu terlihat jelas bagi banyak orang. Karena ChatGPT memiliki tool yang bergantung pada kemampuan machine learning, interaksi apapun dengan bot ini akan digunakan sebagai data training yang akan digunakan untuk penggunaan selanjutnya. Hal ini berarti semua informasi yang telah dibagikan melalui chat akan disimpan pada server – termasuk data yang mungkin sensitive, personally identifiable information (PII). Karena data ini berada di luar perangkat dari si pengguna, maka apabila ada kebocoran data maka akan sulit untuk diambil kembali dan dihapus.

Kekuatan dari generative AI sangat mengesankan, karena itu banyak orang telah menggunakannya dan mengintegrasikannya ke dalam keseharian mereka, seperti menulis e-mail atau coding. Hal tersebut yang menjadi penyebab kekhawatiran dari Samsung, yang juga telah melarang penggunaan generative AI tools dalam lingkungan pekerjaan. Hal ini terjadi setelah beberapa developer meng up load source code ke dalam ChatGPT, dan berpotensi membagikan informasi sensitive terkait hak cipta pada pihak ketiga.

 

Menggunakan Generative AI Secara Bertanggungjawab

Resiko yang menyertai penggunaan generative AI sangat bergantung pada bagaimana kita menggunakannya. Karena tools ini membantu meningkatkan efisiensi kita, sangat mudah untuk menggunakannya tanpa batasan. Namun, ketika kita menyadari bagaimana teknologi bekerja, kita akan mulai memiliki rasa khawatir mengenai perlindungan data. Berikut ini adalah beberapa langkah untuk menghindari kebocoran data ketika menggunakan generative AI tools –

  1. Batasi data yang Anda bagikan : hanya bagikan data yang diperlukan untuk tool tersebut berfungsi, dan pastikan bahwa semua data yang sensitive dibuat anonym, dibuat (seperti menggunakan persentasi atau menggunakan a factor of 10), atau tidak dibagikan sama sekali.
  2. Edukasi karyawan Anda : pastikan semua karyawan yang menggunakan tool ini sudah mendapatkan training mengenai perlindungan data dan privasi. Bantu mereka untuk memahami resikonya sehingga mereka dapat terhindar dari membagikan informasi sensitive seperti hak cipta atau informasi hal milik (proprietary information).
  3. Simpan data sendiri dengan menggunakan Local Large Language Mode (LLM) : daripada mengirimkan data kepada pihak ketiga, Anda dapat menggunakan solusi AI yang mengandalkan local language models. Hal ini memerlukan pengembangan LLM yang unik untuk perusahaan Anda, yang dilakukan oleh penyedia solusi AI.
 

Manfaat Penggunaan local large language model (LLM)

Pilihan ketiga untuk memastikan keamanan dan proteksi data perusahaan adalah cara yang dilakukan oleh Bloomberg, perusahaan jasa keuangan. Bloomberg mengembangkan language modelnya sendiri yang dikenal dengan BloombergGPT, yang dibuat secara khusus untuk memenuhi kebutuhan dari industry keuangan. Bloomberg membuat LLM dengan 50 milyar parameter terdiri dari berbagai data dan informasi spesifik mengenai keuangan. Tim AI Bloomberg memutuskan untuk memanfaatkan kekayaan data yang telah dikumpulkan selama 40 tahun, dan membuatnya menjadi data dasar untuk solusi generative AI buatan mereka sendiri.

BloombergGPT merupakan contoh yang baik dari domain specific LLM yang dapat melebihi general purpose LLM dalam bidang yang lebih spesifik – yang dalam kasus ini, pasar keuangan. Dan meskipun Bloomberg mungkin belum memutuskan untuk mengembangkan GPT atau LLM nya dikarenakan alasan keamanan, dengan memilikinya dapat memastikan bahwa karyawannya tidak akan secara tidak sengaja membagikan data sensitive keluar dari perusahaan. BloombergGPT siap untuk membantu karyawannya dengan menyediakan laporan yang akurat dan juga untuk memproses jumlah data yang besar yang masuk melalui Bloomberg Terminal.

Generative AI tools menawarkan keuntungan yang luar biasa bagi perusahaan yang ingin otomisasi tugas pekerjaan dan menghasilkan hasil dengan cepat dan efisien. Namun, penting untuk diketahui bahwa tools ini juga memiliki resiko mengenai keamanan data dan perlindungan data. Memiliki domain specific LLM sendiri tidak hanya akan membantu dalam mengurangi kebocoran data namun juga memberikan karyawan keuntungan dari penggunaan generative AI.

Ingin melihat bagaimana memiliki model bahasa khusus untuk bisnis atau domain Anda dapat memberikan manfaat bagi bisnis Anda? Hubungi salah satu spesialis kami hari ini.
Jelajahi LLMs

01
Jun
Pengenalan Talkbot  ·  Teknologi Voice AI
Peran Transformatif Large Language Model (LLM) pada Industri Asuransi
Jennifer Zhang

Jennifer Zhang

CEO & Co-Founder

Pada era digital yang berevolusi dengan sangat cepat, dimana teknologi terus menerus mempengaruhi industry, Large Language Model (LLMs) telah muncul sebagai tools yang dapat memengubah sector asuransi secara revolusioner. Karena banyaknya informasi di sekitar asuransi – seperti kebijakan dan klaim – adalah dalam bentuk tertulis, LLMs dapat memainkan peran yang besar dalam mentransformasi industry ini dengan menggunakan AI.

 

Meningkatkan Customer Experience

Pada kondisi bisnis yang berorientasi pada customer akhir-akhir ini, menyediakan customer experience yang luar biasa adalah segalanya bagi perusahaan asuransi. LLMs yang telah dilatih untuk menggunakan bahasa yang spesifik dapat memainkan peran penting dalam mengubah interaksi dengan customer dan meningkatkan seluruh customer experience dengan menggunakan teknologi AI.

Solusi AI yang diperlengkapi dengan LLMs yang menggunakan bahasa spesifik bidang asuransi dapat menyediakan layanan konsumen (Customer Service) yang lebih personal dan efisien. Melalui kemampuan natural language processing, bots dan virtual assistants yang diperlengkapi dengan LLM dapat terlibat dalam interaksi percakapan dengan customer. LLMs memampukan para asisten digital ini untuk memahami pertanyaan dari customer dengan lebih akurat, sehingga dapat memberikan respon yang lebih relevant dan cepat. Bahkan, virtual assistant yang dilengkapi dengan LLM dapat membantu customer dalam pengisian klaim dan memberikan informasi mengenai berbagai kebijakan, meningkatkan kecepatan dan kenyamanan dari layanan konsumen (customer service).

Text-to-speech engines juga dapat memampukan LLMs untuk memfasilitasi komunikasi multichannel yang lancar. Tidak hanya berinteraksi melalui text, customer dapat menelepon dan mendapatkan pertanyaan mereka dijawab oleh suara. Banyak customer lebih memilih untuk membahas hal-hal yang kritikal seperti permohonan pergantian polis, dan LLM yang terdapat di dalam solusi suara AI seperti WIZ Talkbots dapat melakukan hal tersebut.

 

Mempercepat Proses Asuransi

Industri asuransi memiliki berbagai proses yang kompleks dan memakan waktu yang dapat diuntungkan dengan proses otomasi. Memiliki LLMs dapat membantu mengotomasi berbagai aspek dari kegiatan operasional asuransi, meningkatkan efisiensi, akurasi dan pengurangan biaya. Berikut adalah beberapa contohnya.

  • Proses identifikasi dan seleksi resiko (Underwriting) dan penilaian resiko (Risk Assessment):
    Dengan LLMs, pihak asuransi bisa lebih dapat menilai profil resiko dan membuat keputusan penilaian resiko berdasarkan banyaknya data histori.
  • Manajemen Klaim Asuransi:
    AI dapat memfasilitasi otomasi penanganan klaim dengan mengambil informasi yang relevan dari formulir claim, dokumen kebijakan, dan bukti pendukung lainnya – semua dibantu oleh LLM yang didesain dan dikembangkan untuk asuransi.
  • Negosiasi Penyelesaian:
    Dengan memahami dan menerjemahkan bahasa secara natural, LLM dapat menghasilkan penawaran penyelesaian berdasarkan kriteria yang telah ditentukan sebelumnya. Otomasi ini mempercepat proses negosiasi, meminimalisasi bias manusia, dan meningkatkan konsistensi dari hasil penyelesaian klaim.
  • Customer Onboarding and Policy Generation:
    LLM memainkan peran yang krusial dalam otomasi proses customer onboarding dan pembuatan kebijakan. Dengan memanfaatkan natural language understanding, AI yang dilengkapi dengan LLM yang sudah dikondisikan dalam bidang asuransi dapat membantu customer dalam menyediakan informasi yang dibutuhkan, pengisian formulir aplikasi, dan pembuatan dokumen kebijakan dengan intervensi yang minimal.
  • Regulatory Compliance:
    LLMs membantu dalam proses otomasi regulatory compliance dengan cara menganalisa dokumen-dokumen legal dan regulasi, mengidentifikasi hal-hal yang relevan, dan memastikan kepatuhan. Hal ini membantu perusahaan asuransi untuk selalu up to date dengan berbagai regulasi yang berubah, mitigasi resiko kepatuhan, dan minimalisasi usaha manual dalam compliance monitoring.

 

Contoh Nyata dari Pengalaman Asuransi Jagadiri

Salah satu contoh cerita sukses penggunaan solusi suara AI pada asuransi adalah dari Jagadiri, perusahaan di bawah PT Central Asia Financial. Dengan menggunakan WIZ AI Talkbots sebagai pengingat pembayaran pada pinjaman premium, Jagadiri meningkatkan rasio kontak customer (client contact rates) sebanyak 40% dan meningkatkan efisiensi biaya mereka sebanyak 5.3 kali. Solusi yang digunakan juga terus berkembang dan Jagadiri sekarang juga ingin menggunakan Talkbots untuk customer onboarding.

Contoh dari Asuransi Jagadiri ini menunjukkan bagaimana hebatnya LLM yang telah dilokal kondisikan dan dikustom pada solusi AI dalam industry asuransi. Ke depannya, teknologi ini dapat semakin memberikan peningkatan efisiensi dan pengurangan biaya, sambil sekaligus meningkatkan customer experience.

Segera temukan bagaimana large language model yang telah dikondisikan secara spesifik untuk industri asuransi dapat membantu kegiatan operasional Anda. Bicaralah hari ini pada ahlinya.
Jadwalkan Demo

22
May
Talkbot Basics  ·  Voice AI Technology
The transformative role of Large Language Models in insurance
Jennifer Zhang

Jennifer Zhang

CEO & Co-Founder

In today’s rapidly evolving digital landscape, where technology continually shapes industries, Large Language Models (LLMs) have emerged as powerful tools that can revolutionize the insurance sector. Because a lot of the information around insurance – such as policies and claims – are textual, LLMs can play a big role in transforming the industry with artificial intelligence (AI).

Enhancing customer experience

In today’s customer-centric business landscape, providing exceptional customer experiences is paramount for insurance companies. LLMs that are trained on industry-specific language can play a crucial role in revolutionizing customer interactions and elevating the overall customer experience through AI technology.

AI solutions powered by insurance-specific LLMs can provide more personalized and efficient Customer Service.Through natural language processing capabilities, LLM-powered bots and virtual assistants can engage in conversational interactions with customers. LLMs enable these digital assistants to understand customer queries more accurately, and thereby provide more relevant and timely responses. At their best, LLM-powered virtual assistants can assist customers in filing claims and offering policy information, enhancing the speed and convenience of customer service.

Text-to-speech engines can also leverage LLMs to facilitate seamless multichannel communication. Instead of just interacting through text, customers can call and get their queries addressed by voice. Many customers prefer talking through critical conversations like requesting policy changes, and LLMs that feed into voice AI solutions like WIZ Talkbots can do just that. LLMs enable consistent and context-aware conversations across different touchpoints, ensuring a seamless experience regardless of the communication medium.

Then there’s localization. Companies that have their own LLMs can integrate local terms and accents to cater to their customers better, especially over voice channels.

Improving insurance processes

The insurance industry involves numerous complex and time-consuming processes that can benefit greatly from automation. Having industry-focused LLMs can help automate various aspects of insurance operations, offering increased efficiency, accuracy, and cost savings. Here are some use cases –

  • Underwriting and Risk Assessment:
    With LLMs, insurers can better assess risk profiles and make more accurate underwriting decisions based on a wealth of historical data.
  • Claims Management:
    AI can facilitate automated claims handling by extracting relevant information from claim forms, policy documents, and supporting evidence – all guided by an LLM that was designed and developed for insurance.
  • Settlement Negotiations:
    By understanding and interpreting natural language, insurance LLMs can generate settlement offers based on predefined criteria. This automation expedites the negotiation process, minimizes human bias, and enhances consistency in settlement outcomes.
  • Customer Onboarding and Policy Generation:
    LLMs play a crucial role in automating customer onboarding and policy generation processes. By leveraging natural language understanding, AI that’s powered by insurance LLMs can assist customers in providing the required information, auto-populate application forms, and generate policy documents with minimal intervention. 
  • Regulatory Compliance:
    LLMs aid in automating regulatory compliance processes by analyzing legal and regulatory documents, identifying relevant clauses, and ensuring adherence to compliance requirements. This helps insurance companies stay up to date with changing regulations, mitigates compliance risks, and minimizes manual effort in compliance monitoring. 

Jagadiri Insurance success story

One example of a successful deployment of voice AI solutions in insurance is from our client Jagadiri, a company under PT Central Asia Financial. With WIZ.AI Talkbots deployed for premium payment reminders, Jagadiri increased client contact rates by 40% and improved their cost efficiency 5.3 times. The solution is continually evolving and Jagadiri is now looking to use Talkbots for customer onboarding.

The example from Jagadiri Insurance shows how powerful localised, custom LLMs can be in AI deployment within the insurance industry. Looking ahead, the technology can provide further efficiency improvements and cost reductions, all while elevating the customer experience.

Explore how insurance-specific large language models can help you scale your operations. Speak to a specialist today.
Contact us

17
May
Talkbot Basics  ·  Voice AI Technology
A roadmap to successful, ROI-driven AI adoption for enterprises
Jennifer Zhang

Jennifer Zhang

CEO & Co-Founder

Artificial intelligence, specifically voice AI, has the potential to revolutionise the way companies interact with their customers. Companies that adopt voice AI solutions are poised to reap numerous benefits, from time and cost savings to increased customer satisfaction. But how do you figure out where to deploy AI solutions?

Finding the sweet spot for AI deployment

Some operations stand to gain more from voice AI or WIZ Talkbot solutions. Here are some guidelines to help you identify and select the optimal use case for your AI-powered solution. Since voice AI is most applicable to calls or voice interactions, we’ll focus on these areas.

  • Identify use cases that represent at least 10% of your total call volume
  • Find operations where interactions are highly transactional – these include one-off queries or simple troubleshooting or customer support interactions.
  • Zero-in on tasks that handle common tier-1 customer queries 

Once you’ve found a number of use cases for your Talkbot, it’s time to narrow down the selections. Identify one or a few use-cases with the highest potential return-on-investment (ROI) based on estimated savings. This will be the areas where you are likely to see more success in Talkbot deployment.

After identifying the first area of application, it may be worthwhile to identify parallel or adjacent functions where Talkbot adoption can be easily transferred. Once you are ready to scale and expand your AI application, you can adopt the existing solution to new use cases and apply the lessons learnt from the first adoption.

Set yourself up for success

Great outcomes start from laying a good foundation. And in voice AI deployment, there are some steps we recommend you take in order to make the most out of what the solution can offer – and generate results you can be proud of.

Acquire Data and Metrics – Look at any quantitative or qualitative contact center data you may have at your disposal. Example metrics are average handle time, cost per call minute, IVR resolution rate, etc. Pool and study these metrics to understand understand how you arrive at exceptional outcomes. You may also want to collect samples of calls from your top agents to benchmark performance.

Identify In-House Experts – Engage your in-house subject matter experts and stakeholders. These may include professionals who manage or write call scripts, call center managers, customer success managers. Seek their input and involve them in the adoption process early. Get them to help define success metrics, targets, and processes.

Define Success – Identify the key metrics and KPIs you currently track and how they map against the use case you’ve considered. Use insights from existing data to guide your strategy; take cues from top performers, key stakeholders, and subject-matter experts.

Map connected systems – Understand what other technologies and systems will need to be integrated or will be impacted by the voice AI solution. These may include your CRM, call center software, etc. Pull in your IT department early to get their thoughts on possible roadblocks or speedbumps. Ensure that IT is fully engaged and ready to support.

Obtain stakeholder buy-in

Success is a team effort. It’s always a good idea to engage with key stakeholders early in the adoption process to bring a depth to the conversation. Their support will be invaluable to making your shift to AI-powered customer engagements seamless. Some people you may want to speak with even while exploring AI solutions would be –

  • Executive Sponsor – Your executive sponsor is a critical stakeholder and can serve multiple purposes, including helping you navigate internal processes, influencing other decision makers within the organization, and functioning as a sounding board for ideas and strategy.
  • Customer Experience – Customer experience leaders take on different titles or functions in every organization, and it’s best to include them from the beginning to end. They’ll have the customer’s best interests in mind and provide critical feedback and context, especially in designing customer interactions.
  • Call Center Managers – Your call center and customer service managers often have the deepest level of contextual knowledge because of their experience on the field. It’s recommended to involve them from day one.
  • IT – Your technical stakeholders will be an important part of our implementation and deployment. The sooner you map out technical requirements, the better.
  • Procurement – Involve your procurement team as they’re often integral in vendor selection and registration. Procurement can help with the vendor registration process, tech risk assessment and negotiate commercial items in the contract.
  • Finance – Every project needs the backing of finance, from budget to savings. 
  • Legal – You need to make sure everything aligns with regulatory requirements and legal obligations.

Adopting an AI solution can be challenging, and you may have more questions than answers. By taking a more big-picture, proactive approach, you can ensure the success of your AI adoption and begin your organisation’s AI transformation journey. 

Looking to adopt AI as part of your business strategy? Our specialists can help you find the best solutions.
Contact us

03
May
Talkbot Basics  ·  Voice AI Technology
The data security risks of using third-party generative AI tools
Jennifer Zhang

Jennifer Zhang

CEO & Co-Founder

Generative artificial intelligence (AI) tools like ChatGPT, Bard, and Bing search have revolutionized the way companies interact with customers, generate content, and perform other tasks. However, the use of these tools also raises significant concerns around data security and data protection. In this article, we’ll explore the risks of using third-party generative AI tools and offer some tips for ensuring that your company is using these tools safely and responsibly.

Generative AI and data security

One of the primary risks associated with using generative AI tools is the potential for data breaches or leaks. Because these tools are designed to generate content automatically, they often collect and store large amounts of data. This is the main reason why many financial institutions like JP Morgan Chase and Deutsche Bank have either restricted or outright banned the used of ChatGPT in their workplaces.

The risks involved in using these third-party generative AI aren’t obvious to many. Because ChatGPT has an iterative tool that relies on machine learning capabilities, any interaction with the bot is used as training data for future interactions. This means any information shared in the chat is saved in the AI engine’s servers – data which may include sensitive, personally identifiable information (PII). Because this data resides outside the user’s infrastructure, it will be hard to retrieve and delete if and when a data leak occurs.

The power of generative AI is impressive, which is why many people have embraced it and integrated it into their day-to-day tasks, such as drafting emails or generating code. However, this latter case was the cause for concern for Samsung, which has also banned the use of generative AI tools in the workplace. This comes after engineers have uploaded a source code into ChatGPT, potentially sharing sensitive intellectual property (IP) to a third party.

Using generative AI responsibly

The risks that come with using generative AI is largely tied to how people use it. Because these tools help increase our efficiency, it can be tempting to use them indiscriminately . However, once you understand how the technology works, you will start having some genuine concerns around data protection. Here are some steps to avoid data leaks when using generative AI tools –

  1. Limit the data you share: Only share the data necessary for the tool to function, and make sure that any sensitive data is either anonymised, made obscure (such as using percentages or using a factor of 10), or not shared at all.
  2. Train your employees: Make sure that all employees who use the tool are trained on data protection and privacy best practices. Help them understand the risks so they can avoid sharing sensitive IP or proprietary information.
  3. Keep data in-house with a local large language model (LLM): Instead of sending data to a third-party, you can use AI solutions that rely on local language models. This requires the development of an LLM specific to your company, done by an AI solutions provider.
 

Benefits of using a local large language model (LLM)

The third option to ensure the security and protection of company data is a path that was taken by Bloomberg, the financial services company. It developed its own language model called BloombergGPT, which is specifically tailored to the needs of the financial industry. The 50-billion parameter LLM has been built using Bloomberg’s financial data and domain-specific knowledge. Bloomberg’s AI team decided to leverage the rich data the company has amassed in 40 years, and translate that into training data for its own generative AI solution.

BloombergGPT is a great example of a domain-specific LLM that outperforms general-purpose LLMs in a narrow field – in this case, financial markets. And although Bloomberg may not have decided to develop its own GPT or LLM for security reasons, having it ensures that its employees won’t inadvertently share sensitive data outside the company. BloombergGPT is poised to help many of the company’s employees by coming up with accurate reports as well as process the vast amounts of data that come through the Bloomberg Terminal.

Generative AI tools offer tremendous benefits to companies looking to automate tasks and generate high-quality content quickly and efficiently. However, it’s important to recognize that these tools also come with risks around data security and data protection. Having your own company- or domain-specific LLM will help mitigate these data leaks while providing your employees the benefits of using generative AI.

Want to see how having your own business- or domain-specific language model can benefit your business? Contact one of our specialists today.
Explore LLMs

24
Apr
Talkbot Basics  ·  Voice AI Technology
Breaking it down: how large language models work
Jennifer Zhang

Jennifer Zhang

CEO & Co-Founder

Artificial Intelligence (AI) has been growing at a rapid clip in recent months. Activities that typically require human intelligence, such as perception, reasoning, and decision-making, are slowly being transferred to AI. One of things that drove the development of AI is the development of stronger, more robust foundation models.

Foundation models are what enable AI to do more general tasks even without prior specific training. Foundation models act as the base of knowledge and understanding for AI, supported by large masses of data for machine learning. Foundation models are built with specific outcomes in mind, such as the ability to converse, in order to support more accurate and efficient AI applications.

Large language models (LLMs) are a kind of foundation model that enables AI to converse like humans. It’s trained on massive amounts of data and use advanced techniques such as neural networks to understand the complexities of language. LLMs have been used for AI powered chatbots, machine translation, and text summarization. But how do these models actually work? In this article, we will explore the technical details of large language models and provide a high-level overview of their inner workings.

The basics of language modeling

At its core, a language model is a statistical model that estimates the probability distribution of language. In other words, it predicts the likelihood of a particular word or sequence of words given the context of a sentence or document. For example, given the sentence “I like to eat ___ for breakfast,” a language model can predict the most likely word to fill in the blank based on the words that come before it.

The simplest language models are based on n-gram models, which calculate the probability of each word in a sentence based on the frequency of its occurrence in a training corpus, or the mass of data used for training. However, these models have limitations and can struggle with longer sequences of words or with generating novel, coherent text.

Enter large language models

Large language models, on the other hand, are designed to overcome these limitations by using neural networks to process language in a more sophisticated and nuanced way. These models are trained on massive amounts of text data, using a process called unsupervised learning to identify patterns and relationships within the data.

The most common type of large language model is the transformer-based model, which was first introduced by Google in 2017 with the release of the Transformer architecture. Transformer-based models use self-attention mechanisms to capture long-range dependencies between words, allowing them to understand the context of a sentence in a more sophisticated way. This means that they can generate more coherent and contextually appropriate text than n-gram models.

Training a large language model is a complex and computationally-intensive process that typically involves multiple stages. First, the model is initialized with random weights, and then it is trained on a large corpus of text data using a process called backpropagation. Backpropagation adjusts the model’s weights based on the errors it makes in predicting the next word in a sentence. This process is repeated over many iterations until the model achieves a high level of accuracy in predicting the next word.

Fine-tuning for specific use cases

One of the key benefits of large language models is their flexibility and adaptability. Once a model has been trained on a large corpus of text, it can be fine-tuned for specific use cases, such as question-answering or sentiment analysis. Fine-tuning involves training the model on a smaller, more specific dataset to optimize its performance for that particular task. This can be a time-consuming process, but it enables organizations to develop highly accurate and effective language processing applications for a wide range of use cases.

There are many tools and frameworks that enable fine-tuning or customization of large language models. Many AI solutions providers can customize existing large language models with just a few lines of code and some training data. This enables them to create domain-specific or region-specific language models that outperform generic language models for specific use cases. This customization also enables personalization for customer engagement, enhancing the user experience.

The benefits of fine-tuning LLMs

Let’s say you’re a company that wants to build a chatbot for your customer support team. You want the chatbot to be able to answer customer questions about your products and services quickly and accurately, but you also want it to have a personalized touch and reflect your brand’s voice and tone. To achieve this, you can start with a pre-trained large language model, such as GPT-4, which has been trained on a vast amount of data and has a strong understanding of language. However, GPT-4 has not been trained on data specific to your industry or products, so it may not perform as well as you would like for your use case.

This is where fine-tuning comes in. With fine-tuning, you can take the pre-trained model and train it on your company’s data, such as product descriptions, customer support logs, and other relevant information. In some cases, customization can be done by adding new data to the training model, which is simpler and less tedious than fine-tuning. Whichever route is taken, the end result is that the model learns about your specific industry and products, and improves its performance for specific use cases. Fine-tuning, however, provide more personalization. It can incorporate your brand’s voice and tone by feeding it examples of how your company communicates with customers. This helps ensure that the chatbot sounds like your brand and provides a personalized experience for your customers.

The future of language models

Incumbents like OpenAI and Meta will have the upper hand in the development of general purpose LLMs. However, the space for specialized LLMs is large. Vertical markets like fintech will likely see smaller players come in and develop domain-specific language models. Companies like Bloomberg have already developed their own LLMs like BloombergGPT. Specialists will have an advantage because of their deep knowledge of proprietary or domain-specific data.

When it comes to fine-tuning or customization, a promising direction is the use of meta-adapters which fine-tune a very small model (millions rather than billions of parameters). This, coupled with few-shot learning methods, enables the customization of LLMs in less time. The end result is the availability of more domain-specific language models to more businesses and markets.

Curious about having your own business- or domain-specific language model? Check out our Large Language Models (LLMs).
Explore LLMs

12
Page 1 of 2


Product

  • Capabilities
  • Technology

Industry Solutions

  • Telecommunication
  • Banking & Finance
  • Insurance
  • Healthcare
  • E-commerce

About Us

  • Company
  • Join Us
  • Terms & Conditions

Resources

  • How To Design A Talkbot
  • The Rise Of Conversational AI In Customer Service
  • Understanding Asia – Natural Language Processing in AI

Countries

  • Singapore
  • Indonesia
  • Philippines
  • Thailand
  • China

Email

  • marketing@wiz.ai
Copyright © 2023 WIZ Holdings PTE. LTD. All Rights Reserved
Privacy Policy