lstm

Przewiń wpisy ↓	lstm
2024-08-15 (00:27) MultiTest Data rejestracji: 2020-08-05 Ilość postów: 5488	wpis nr 1 527 655 [ CZCIONKA MONOSPACE ] heme24 ważna jest idea, pomysł, sposób postępowania wyrażony w jakimś algorytmie Starałem Ci to pokazać. Komputer, program, sieć to kwestie techniczne. Jedna sieć wystarczy , LSTM to kolejne ulepszenie . Jeśli chodzi o dane binarne: Losowanie 1: [3, 7, 12, 22, 35] Losowanie 2: [1, 5, 18, 29, 40] używamy 2 poprzednich losowań, aby przewidzieć następne: Losowanie 1: [3, 7, 12, 22, 35] zamienia się na: [0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0] Losowanie 2: [1, 5, 18, 29, 40] zamienia się na: [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1] Dla X będzie to Pierwsze i drugie losowanie: [ [0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0], [1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] ] y - trzecie losowanie: [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1]
2024-08-15 (08:58) HYCHYC2 Data rejestracji: 2011-05-21 Ilość postów: 596	wpis nr 1 527 672 [ CZCIONKA MONOSPACE ] Hallo MultiTest Dzieki za odpowiedz. Wszystko jest dla mnie juz jasne.... HYCHYC2 --- wpis edytowano 2024-08-15 09:01 ---
2024-08-15 (10:16) HYCHYC2 Data rejestracji: 2011-05-21 Ilość postów: 596	wpis nr 1 527 681 [ CZCIONKA MONOSPACE ] Halo Chce Wam pokazac moj pomysl na wyszukiwanie liczb na nastepne losowanie. MultiTest, Ty tez uzywasz 2 poprzednich losowan aby przewidziec nastepne. Roznica polega na tym ,ze Ty bierzesz pod uwage cale losownie razem a ja kazda wylosowana liczbe oddzielnie Na wynik losowania skladaja sie 5 liczb. Wiec moj pomysl jest taki: Kazda z tym pieciu liczb ma osobne wyliczenia. Pokaze to na pierwszej wylosowanej liczbie. Do wyliczen pod uwage biore wszystkie losowania mini (6681) Tak wygladaja dane wstepne Tak wygladaja dane po wyliczeniu Dane po filtracji Wynik koncowy Wiadome sa ostatnia i przedostatnia wylosowana liczba. Jaka bedzie wylosowana liczba w nastepnym losowaniu [???] W tabeli po lewej stronie w niebieskim tle, mamy liste najbardziej prawdopodobnych liczby ktore moga wystapic w tej konfiguracji [1 1]. Taka konfiguracji wystapila juz 81 razy a tabela z lewej pokazuje wyniki jakie liczby najczesciej sa wylosowane w tej konfiguracji Po wyliczeniu mam 5 tabel z niebieskim tlem, z ktorych typuje moje kombinacje. Przepraszam, ze nie man wszystich polskich liter. Pozdrowienia HYCHYC2
2024-08-15 (10:29) heme24 Data rejestracji: 2015-12-08 Ilość postów: 236	wpis nr 1 527 682 [ CZCIONKA MONOSPACE ] Witam. Multi test sieci to bardzo trudny temat, ja nie bazuję na liczbach żywych, żeby sprawdzić skuteczność sieci to trzeba dużo ustawień sprawdzić, jaka długość bazy, jaki learnig rate , ile warstw, jaka długość sekwencji, jaki batch size, ile neuronów, jaki optimizer, jaka funkcja aktywacji, za dużo tego żeby to ogarnąć, teoretyczne rozważania nie mają tu sensu, tylko praktyczne ,więc raczej to zabawa bez sensu,musiałby powstać zespół ludzi którzy by to przesiewali ale skutek nie wiadomy.
2024-08-16 (10:38) heme24 Data rejestracji: 2015-12-08 Ilość postów: 236	wpis nr 1 527 762 [ CZCIONKA MONOSPACE ] Witam. Multi test jak długą bazę stosujesz? jakie ustawienia sieci? Ja na razie eksperymentuję.Z liczbami żywymi nie zauważyłem nic ciekawego, ale jestem otwarty.
2024-08-16 (14:34) MultiTest Data rejestracji: 2020-08-05 Ilość postów: 5488	wpis nr 1 527 785 [ CZCIONKA MONOSPACE ] heme24 Ładuję całą bazę mini z pliku csv z ustawieniem aby zaczynać od losowania 1281 czyli od początku wznowienia gry MINI pod długiej przerwie. Ostatnim losowaniem w bazie jest ostatnie przed nadchodzącym losowaniem. Eskperymentować z ustawieniami można dużo ale tak na łapu capu - Krzywa pracochłonności ostro idzie w górę Ja bym na początku zrobił taki eksperyment : Podajesz jako sekwencję ciąg liczb z którego oczywisty wynika jakaś matematyczną zależność i czekasz na takich ustawieniach jakie masz co sieć odpowie. Przy ustawianiech dobrych dla tego kontekstu sieć powinna ci podać dalszy prawidłowy ciąg. Ogólnie przy wyborze ustawień podzieliłbym na początkowe jako najczęściej używane i optymalne dla danego kontekstu: Można przyjąć że początkowe dla dobrego treningu to takie: Liczba neuronów LSTM w pierwszej warstwie: 128 Liczba neuronów LSTM w drugiej warstwie: 64 Dropout: 0.2 (20%) Liczba epok: 100 Batch size: 32 a optymalne będą ich korektą wynikającej ze specyfiki danych (tu decyduje dobre zrozumienie co właściwie dajemy na wejście) Nie wiem co uważasz za liczby "żywe" , nie jest to jakieś scisłe pojęcia i używane w matematyce czy też specjalnie w statystyce. Można przyjąć że chodzi tu o liczby zmieniające się w czasie, ale wtedy nie będą to wyniki losowań. Zresztą pomimo trafienia z prognozy LSTM trójki w Mini w drugim losowaniu odchodzę od bezpośredniego analizowania liczb z losowania. Bardziej interesujące są wynikające z nich wartości numeryczne.
2024-08-16 (15:14) Marriusz2 Data rejestracji: 2009-06-02 Ilość postów: 2410	wpis nr 1 527 787 [ CZCIONKA MONOSPACE ] Multitest 15 sierpnia wylosowano liczby : 09 17 21 33 35 37 To są liczby żywe. To są liczby żywe. To są liczby żywe. To są liczby żywe. Precyzyjnie najbardziej z precyzyjnych w świecie . Ciebie wtedy nie było na zajęciach w przedszkolu więc nie wiediząłeś . Takie liczby nie nadają sie do prognozowania ani przewidywania. Bo to liczby nieprzewidywalne . To te ,które ty w chorej wyobraźni ładujesz do różnych programów i niby sieci ,których zresztą na oczy nie widziałeś . Elementarz w przedszkolu dokładnie mówi ,że te liczby żywe pod żadnym pozorem nie mozna używać do jkaiejkolwiek prognozy . Ale ty wolisz z siebie robić błazna . Zajmij się dziecko klockami bo o grach losowych nie masz pojęcia . W swoim poście zpomniałeś dodać że: masło jest maślane --- wpis edytowano 2024-08-16 15:15 ---
2024-08-16 (16:27) heme24 Data rejestracji: 2015-12-08 Ilość postów: 236	wpis nr 1 527 791 [ CZCIONKA MONOSPACE ] Witam. Trochę teorii: Liczba warstw i neuronów: Można zmieniać strukturę sieci, dodając więcej warstw ukrytych lub zmieniając liczbę neuronów w każdej warstwie. Funkcja aktywacji: Popularne funkcje aktywacji to relu, sigmoid i tanh. Te funkcje mogą wpływać na to, jak model radzi sobie z nieliniowościami w danych. Solver: To algorytm używany do optymalizacji wag sieci. Popularne opcje to 'adam', 'sgd' (stochastic gradient descent) i 'lbfgs'. Każdy z tych solverów ma swoje właściwości, które mogą lepiej sprawdzać się w różnych scenariuszach. Learning rate: Jest to szybkość, z jaką model uczy się podczas treningu. Zbyt wysoka wartość może powodować, że model "przeskoczy" optymalne rozwiązanie, a zbyt niska może spowolnić proces uczenia się lub spowodować, że model utknie w minimum lokalnym. Max iter: Maksymalna liczba iteracji treningu. Jeśli trening nie zbiegnie się przed osiągnięciem tego limitu, proces zostanie zatrzymany. Batch size: Rozmiar partii danych używanych w każdej iteracji. W przypadku SGD, mniejsze partie mogą prowadzić do szybszej i bardziej dynamicznej konwergencji, ale mogą być mniej stabilne. Regularizacja: Parametry takie jak alpha (dla L2-regularizacji) mogą pomóc w zapobieganiu przeuczeniu przez dodanie kary do wielkości wag. Early stopping: Mechanizm, który pozwala zatrzymać trening, gdy wydajność na zbiorze walidacyjnym przestaje się poprawiać, co pomaga uniknąć przeuczenia ---------------------------------------------------------------------------------------------------------------------------------------------------------------- 'adam': Jest to domyślny solver i zazwyczaj działa dobrze na stosunkowo dużych zbiorach danych. Jest oparty na stochastycznym spadku gradientu oraz adaptacyjnych oszacowaniach momentów, co sprawia, że jest efektywny dla dużych zbiorów danych z dużą liczbą funkcji. 'sgd' (Stochastic Gradient Descent): To bardziej tradycyjny podejście do optymalizacji, które może być bardzo skuteczne z odpowiednio dobranymi parametrami takimi jak tempo uczenia się (learning rate) i moment. Pozwala na większą kontrolę nad procesem uczenia, ale może wymagać więcej dostrojenia. 'lbfgs': Jest to optymalizator oparty na metodzie quasi-Newtonowskiej. Jest zalecany dla mniejszych zbiorów danych ze względu na mniejszą efektywność i większe zapotrzebowanie na pamięć przy dużych zbiorach danych. ReLU (Rectified Linear Unit): Formuła: f(x)=max⁡(0,x)f(x)=max(0,x) Zastosowanie: Jest to obecnie najczęściej używana funkcja aktywacji w sieciach neuronowych ze względu na jej prostotę obliczeniową i skuteczność w wielu zadaniach. Sigmoid: Formuła: f(x)=11+e−xf(x)=1+e−x1 Zastosowanie: Często używana w ostatnich warstwach sieci neuronowych dla binarnej klasyfikacji, gdyż jej wynik mieści się w przedziale od 0 do 1. Tanh (Hyperbolic Tangent): Formuła: f(x)=tanh⁡(x)=21+e−2x−1f(x)=tanh(x)=1+e−2x2−1 Zastosowanie: Podobna do funkcji sigmoid, ale wynik jest przeskalowany do przedziału od -1 do 1. Jest to przydatne, gdy dane mają być znormalizowane. Softmax: Formuła: f(xi)=exi∑jexjf(xi)=∑jexjexi Zastosowanie: Zwykle stosowana w ostatniej warstwie sieci neuronowej dla klasyfikacji wieloklasowej, gdyż wynik funkcji można interpretować jako rozkład prawdopodobieństwa między klasami. Leaky ReLU: Formuła: f(x)={xif x>0αxif x≤0f(x)={xαxif x>0if x≤0 Metody skalowania danych: Min-Max Scaling (Normalizacja) Opis: Przekształca dane do zakresu [0, 1] lub innego zadanego zakresu. Wzór: x′=x−min(x)max(x)−min(x)x′=max(x)−min(x)x−min(x) Topologie: Często stosowana w modelach LSTM, GRU, MLP. Zastosowanie: Dobrze sprawdza się, gdy dane są ograniczone do pewnego zakresu i gdy rozkład danych jest równomierny. Standard Scaling (Standaryzacja) Opis: Przekształca dane tak, aby miały średnią 0 i odchylenie standardowe 1. Wzór: x′=x−μσx′=σx−μ Topologie: Stosowana w modelach LSTM, GRU, CNN. Zastosowanie: Dobrze sprawdza się, gdy dane mają rozkład normalny lub zbliżony do normalnego. Robust Scaling Opis: Przekształca dane, korzystając z mediany i interkwartylowego rozstępu, co sprawia, że metoda jest odporna na outliers. Wzór: x′=x−median(x)IQRx′=IQRx−median(x) Topologie: Używana w modelach LSTM, GRU, CNN, MLP. Zastosowanie: Dobrze sprawdza się w przypadku danych z dużą liczbą outliers. Logarithmic Scaling Opis: Przekształca dane, stosując logarytm, co może pomóc w zmniejszeniu wpływu dużych wartości. Wzór: x′=log⁡(x+1)x′=log(x+1) Topologie: Może być stosowana w modelach LSTM, GRU, CNN. Zastosowanie: Dobrze sprawdza się, gdy dane mają rozkład wykładniczy lub inny rozkład z dużą zmiennością
2024-08-16 (16:38) heme24 Data rejestracji: 2015-12-08 Ilość postów: 236	wpis nr 1 527 792 [ CZCIONKA MONOSPACE ] Teoria -c.d Long Short-Term Memory (LSTM) to rodzaj rekurencyjnej sieci neuronowej (RNN), która jest zaprojektowana do skutecznego zapamiętywania długoterminowych zależności w sekwencjach danych. Tradycyjne RNN mają problemy z "zanikającym gradientem", co sprawia, że uczenie się długoterminowych zależności jest trudne. LSTM zostało opracowane, aby rozwiązać ten problem. Jak działa LSTM? 1. Komórka pamięci (Cell State) Główną innowacją LSTM jest wprowadzenie komórki pamięci, która umożliwia przechowywanie informacji przez długie okresy. Komórka pamięci działa jak taśma transmisyjna, która może przechowywać informacje bez zniekształceń. 2. Bramki (Gates) LSTM posiada trzy rodzaje bramek, które kontrolują przepływ informacji do i z komórki pamięci: Bramka zapominania (Forget Gate): Decyduje, które informacje z komórki pamięci należy zapomnieć. Bramka wejściowa (Input Gate): Określa, które wartości z wejścia należy zaktualizować i dodać do stanu komórki. Bramka wyjściowa (Output Gate): Kontroluje, które informacje z komórki pamięci są używane do generowania wyjścia. Oprócz Long Short-Term Memory (LSTM), istnieje kilka innych rodzajów rekurencyjnych sieci neuronowych (RNN), które są wykorzystywane do analizy danych sekwencyjnych. Oto kilka z nich: 1. Standardowe RNN Standardowe RNN to podstawowy typ rekurencyjnej sieci neuronowej, gdzie wyjście z poprzedniego stanu jest podawane jako wejście do aktualnego stanu. Mają one jednak problemy z długoterminowymi zależnościami ze względu na problem zanikającego i eksplodującego gradientu. 2. Gated Recurrent Unit (GRU) GRU to uproszczona wersja LSTM, która również stara się rozwiązać problem długoterminowych zależności. GRU łączy stan ukryty i komórkę pamięci w jeden wektor i posiada tylko dwie bramki: bramkę resetowania i bramkę aktualizacji. Główne komponenty GRU: Bramka resetowania (rtrt): Decyduje, jakie informacje z poprzedniego stanu ukrytego powinny zostać zapomniane. Bramka aktualizacji (ztzt): Decyduje, jakie informacje z poprzedniego stanu ukrytego oraz nowego kandydata powinny zostać przekazane do następnego stanu ukrytego. 3. Bidirectional RNN (BRNN) Bidirectional RNN trenuje dwie oddzielne RNN na danych sekwencyjnych: jedna przetwarza sekwencję od początku do końca, a druga od końca do początku. Dzięki temu model może mieć dostęp zarówno do przeszłych, jak i przyszłych kontekstów w danej sekwencji. 4. Echo State Network (ESN) ESN to typ RNN, który składa się z dużej, losowo połączonej rekurencyjnej warstwy ukrytej i warstwy wyjściowej trenowanej w sposób liniowy. Warstwa ukryta działa jak "rezonansowe jądro", co pozwala na uchwycenie skomplikowanych dynamicznych wzorców. 5. Recursive Neural Network (Recursive NN) Recursive NN to rozszerzenie RNN, które przetwarza dane o strukturze drzewiastej, np. wyrażenia matematyczne lub struktury składniowe w języku naturalnym. Każdy węzeł drzewa reprezentuje ukrytą warstwę, a relacje między węzłami są modelowane przez rekurencyjne przejścia. 6. Neural Turing Machine (NTM) NTM to bardziej zaawansowany model, który łączy RNN z zewnętrzną pamięcią, co pozwala sieci na wykonywanie złożonych operacji podobnych do tych, które można wykonać za pomocą Turinga. NTM ma mechanizm uwagi, który decyduje, gdzie zapisywać i odczytywać informacje z pamięci. Każdy z tych rodzajów RNN ma swoje unikalne właściwości i jest używany w różnych zastosowaniach w zależności od rodzaju problemu i wymagań związanych z danymi sekwencyjnymi.
2024-08-16 (18:24) Marriusz2 Data rejestracji: 2009-06-02 Ilość postów: 2410	wpis nr 1 527 799 [ CZCIONKA MONOSPACE ] Heme Nie przepisuj głupot bo to jest masło maślane . SN nie nadają się do gir losowych bo losu nie nauczysz . Czy to znaczy ,że nie można liczb losowych zaprognozować ??? Wręcz przeciwnie . Ale trzeba mieć inteligencję i to normalną a nie AI . Bo takowej nie ma . Co jest problemem : tylko dwa problemy . 1. Przygotowanie danych 2. Topologia sieci . Aby przygotować dane numeryczne co jest podstawą każdej SN trzeba jakieś 20 lat pracy w dziedzinie obróbki numerycznej . A punkt 2 Topologia SN to wynalazek -to trzeba wymyśleć a nie przepisać . W Polsce jest jakieś 20 osób czytatych i pisatych w tej dziedzinie . Sieć ,którą opisał multitest to sieć BAM . Świetne sieć używana do zapamiętywania zbiorów liczb . Tyle ,że nic nie prognozuje .Nie jest w stanie .
2024-08-16 (19:21) heme24 Data rejestracji: 2015-12-08 Ilość postów: 236	wpis nr 1 527 803 [ CZCIONKA MONOSPACE ] Witam. Mariusz co sądzisz o pomyśle Cioci? I co sądzisz o danych binarnych czy nadają się do sieci?
2024-08-16 (22:10) MultiTest Data rejestracji: 2020-08-05 Ilość postów: 5488	wpis nr 1 527 821 [ CZCIONKA MONOSPACE ] heme24 dostałeś kiedyś odpowiedź od Marriusza ? konkrety? wskazówki, pomoc chociażby ? Jest problem bo błazen Marriusz próbuje robić ze wszystkich durni. I robi to lat atakując każdego kto przewyższa go wiedzą, wstawiając bzdury wyssane z palca. Jak ktoś nie odróżnia liczb od kulek nadal będzie tą ciemnotę łykał.
2024-08-16 (22:12) MultiTest Data rejestracji: 2020-08-05 Ilość postów: 5488	wpis nr 1 527 824 [ CZCIONKA MONOSPACE ] Co jest że Marriusz za Ciebie odpowiada nie pytany chociaż sam jakieś slabe szkoły skończył .
2024-08-17 (12:01) heme24 Data rejestracji: 2015-12-08 Ilość postów: 236	wpis nr 1 527 862 [ CZCIONKA MONOSPACE ] Witam. Kiedyś od Mariusza dostawałem konkretne wskazówki, temat sieci to temat arcytrudny, wszyscy którzy zajmowali się sieciami już dawno zrezygnowali, ja traktuję to jako hobby,obecnie testuję kostkę, 10 ścienną w multi, bez rewelacji, ale wychodzi lepiej niż na liczbach żywych .Podstawa to dane wejściowe i nie przesadzać z warstwami ukrytymi i neuronami, i bez dropout_rate,ważny jest learning rate -tu działa efekt motyla, i seed który trzeba ustawić w kilku miejscach.
2024-08-17 (14:01) MultiTest Data rejestracji: 2020-08-05 Ilość postów: 5488	wpis nr 1 527 874 [ CZCIONKA MONOSPACE ] Daj na wejściu jeszcze ceny jabłek z ostatnich 3 sezonów , będziesz miał jeszcze lepsze wyniki
2024-08-18 (10:45) muddy Data rejestracji: 2020-05-10 Ilość postów: 64	wpis nr 1 527 927 [ CZCIONKA MONOSPACE ] Ciocia Micowhyaja , czy ta architektura sieci współgra z różnicami w kostce o której pisałeś?
2024-08-18 (22:20) Ciocia__Micowhyaja Data rejestracji: 2016-12-17 Ilość postów: 447	wpis nr 1 527 983 [ CZCIONKA MONOSPACE ] muddy mogłeś poświecić chwile czasu i przetestować czyli dać plik z takimi danymi o które pytasz do takiej architektury sieci o którą też pytasz i miałbyś odpowiedź na swoje pytanie ale jeśli nie miałeś czasu i tego nie zrobiłeś to odpowiadam tak pozdrowienia --- wpis edytowano 2024-08-18 22:24 ---
2024-08-19 (17:43) muddy Data rejestracji: 2020-05-10 Ilość postów: 64	wpis nr 1 528 036 [ CZCIONKA MONOSPACE ] Dzięki za konkretną odpowiedź, przynajmniej ty potrafisz w przeciwieństwie do niektórych rzeczowo odpowiadać, niestety program nndt słabo się nadaje do długotrwałych testów, można spróbować zrobić podobną architekturę w pythonie ale może się to nie udać.
2024-08-19 (21:44) heme24 Data rejestracji: 2015-12-08 Ilość postów: 236	wpis nr 1 528 063 [ CZCIONKA MONOSPACE ] Witam. Próbowałem taką sieć zbudowac w pythonie ale nie udało mi się uzyskać nic ciekawego, różnice w kostce polepszają wyniki ale to za mało, może gdzieś robię błąd tego nie wiem
2024-08-20 (10:39) MultiTest Data rejestracji: 2020-08-05 Ilość postów: 5488	wpis nr 1 528 108 [ CZCIONKA MONOSPACE ] Architektura:


\| Dodaj wpis w tym temacie \| Spis tematów \| Wyniki lotto	Strona: 1 2 3 4 ... 12 13 Wyślij wiadomość do admina Czcionka o stałej szerokości

Forum strony www.multipasko.pl [Regulamin]