For andre betydninger, se Entropi (flertydig)
Der er for få eller ingen i denne artikel, . Du kan hjælpe ved at angive til de påstande, som fremføres i artiklen.
I informationsteori er entropi (også informationsentropi eller Shannon-entropi) en måde at betegne og give værdi til evolution og vækst i viden. Især gør brug af entropi til at læse informationer. De sammenligner simpelthen systemets dele og vælger det stykke data med mindst (~0) entropi.
Entropien er givet ved en sum over alle mulige tilstande:
hvor er sandsynligheden for tilstanden .
Entropien opnås være at tage gennemsnittet af informationsmængden for hvert udfald:
For et system med forskellige udfald er entropien altså den gennemsnitlige informationsmængde, der opnås ved en måling. Jo højere entropien er, jo større usikkerhed er der omkring udfaldet.
Inden for fysikken kaldes den tilsvarende ligning for Gibbs' entropiformel.
Simpelt eksempel
I det følgende gives eksempler på beregning af entropi.
Møntkast
![image](https://www.wikidata.da-dk.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEuZGEtZGsubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOWtMMlEwTDBWdWRISnZjSGxmWm14cGNGOHlYMk52YVc1ekxtcHdaeTh5TWpCd2VDMUZiblJ5YjNCNVgyWnNhWEJmTWw5amIybHVjeTVxY0djPS5qcGc=.jpg)
Når en mønt bruges til at slå plat eller krone, har den 50 % - dvs. - sandsynlighed for at lande på krone og 50 % sandsynlighed for at lande på plat. Informationsmængden for hver udfald er derfor:
Den gennemsnitlige informationsmængde - entropien - for ét mønstkast er derfor også 1:
For to mønter fordobles informationsmængden ,og derfor bliver entropien 2. Der er nemlig 4 mulige udfald med to mønter, og hvert udfald har 25 % sandsynlighed, så:
Da antallet af mulige udfald fordobles med hver mønt, må antallet af mulige udfald for et arbitrært antal mønter være
. Sandsynligheden per udfald
er derfor:
Og derfor er entropien:
Entropien for møntkast er altså simpelthen
.
Så jo flere mønter, jo højere entropi, da hvert udfald bliver mere og mere usandsynligt, og informationen omvendt bliver større og større.
Bernoulli-proces
![image](https://www.wikidata.da-dk.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEuZGEtZGsubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOHlMekl5TDBKcGJtRnllVjlsYm5SeWIzQjVYM0JzYjNRdWMzWm5Mekl5TUhCNExVSnBibUZ5ZVY5bGJuUnliM0I1WDNCc2IzUXVjM1puTG5CdVp3PT0ucG5n.png)
En er en måling, hvor der er to mulige udfald med sandsynlighederne og
hvor er konstant. Dette er en generalisering af den ærlige mønt, hvor
. Entropien er:
For er entropien 1 som før, men for
- dvs. hvis udfald 1 er umuligt - bliver entropien:
Entropien ville også være 0 bit, hvis kun udfald 2 var muligt. Hvis kun ét udfald er muligt, er der ikke længere nogen usikkerhed, mens usikkerheden er størst, hvis begge udfald er lige sandsynlige (se figur).
Kildehenvisninger
- Pathria, R. K.; Beale, Paul (2011). Statistical Mechanics (Third Edition). Academic Press. s. 51. ISBN . fra originalen 17. juni 2020. Hentet 16. december 2019.
- Blundell, Stephen J.; Blundell, Katherine M. (2006). "15.1 Information and Shannon entropy". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 153-155. ISBN .
- Blundell, Stephen J.; Blundell, Katherine M. (2006). "14.8 Entropy and probability". Concepts in Thermal Physics (engelsk) (1. udgave). Oxford University Press. s. 146-148. ISBN .
![]() | Spire Denne artikel om matematik er en som bør udbygges. Du er velkommen til at Wikipedia ved at udvide den. |
wikipedia, dansk, wiki, bog, bøger, bibliotek, artikel, læs, download, gratis, gratis download, mp3, video, mp4, 3gp, jpg, jpeg, gif, png, billede, musik, sang, film, bog, spil, spil, mobile, Phone, Android, iOS, Apple, mobiltelefon, Samsung, iPhone, Xiomi, Xiaomi, Redmi, Honor, Oppo, Nokia, sonya, mi, PC, web, computer